seon99il

← GITSIGHT

This post is not translated yet, so it is shown in Korean.

Data Lakehouse 아키텍처 설계 및 고도화

오염된 데이터가 Bronze → Silver → Gold로 전파되는 문제를 WAP 패턴(Nessie + Iceberg + Great Expectations)으로 차단

NessieApache IcebergGreat ExpectationsAirflowSpark

문제

데이터 적재·변환 시 비정상 데이터(Polluted Data)가 적재되면 오염이 계층을 따라 전파됩니다.

  • 막대한 복구 비용과 리소스 낭비:
    오염이 발생하면 전체 계층(Bronze → Silver → Gold)에 적재된 데이터를 일일이 추적하여 롤백하고 재처리해야 했으며, 컴퓨팅 리소스 낭비 및 서비스 지연이 발생했습니다.
  • 데이터 프로덕트의 신뢰도 하락:
    검증되지 않은 불량 데이터가 최종 서빙 레이어까지 그대로 노출되어 클라이언트와 대시보드의 신뢰도가 훼손될 위험이 있었습니다.
  • 비즈니스 요건 검증 및 품질 모니터링 부재:
    파이프라인 에러 없이 데이터가 적재되더라도 비즈니스 요구사항을 충족하는지 파악할 모니터링 체계가 없었습니다.

도출된 기술적 요구사항

  • 격리된 테스트 환경:
    프로덕션 데이터에 영향을 주지 않고, 유입된 데이터를 사전에 분리하여 안전하게 적재하고 테스트할 수 있는 독립된 공간이 필요
  • 즉각적이고 가벼운 복구 및 데이터 병합:
    장애 발생으로 인한 롤백 또는 프로덕션 병합 시 무거운 로직 없이, 리소스 소모를 최소화하며 이동시킬 수 있는 버저닝 체계 필요
  • 비즈니스 요건 검증 및 품질 모니터링:
    품질 상태를 가시화할 수 있는 자동화된 검증 시스템이 필요

해결

  • 격리된 쓰기 환경 (Write):
    Nessie와 Apache Iceberg를 연동하여 프로덕션 Main 브랜치로부터 완전히 격리된 Feature 브랜치를 생성하고, 그 위에서 ETL/ELT를 수행했습니다.

  • 코드 기반 데이터 품질 검증 (Audit):
    Great Expectations(GX)로 검증 로직을 Airflow Task에 통합하고, 결과를 Data Quality Docs로 자동 생성해 S3 정적 웹사이트로 호스팅했습니다.

  • 조건부 병합 및 Zero-Copy 롤백 (Publish & Rollback):
    Airflow 흐름은 Create Branch → ETL → Audit → Merge Branch(ALL_SUCCESS) / Skip Merge(ONE_FAILED) → Delete Branch입니다. 검증을 통과하면 Main으로 병합해 서빙 레이어에 발행하고, 실패하면 Feature 브랜치를 삭제해 프로덕션 오염을 차단합니다.

  • WAP(Write-Audit-Publish) Pattern Flow

결과

  • 메달리온 아키텍처 기반 불변성 확보:
    Bronze(Raw) → Silver(Enrich) → Gold(Mart)로 계층화하고, 외부 소스 데이터를 변형 없이 Bronze에 영구 보존해 로직 변경 시 외부 API 재호출 없이 복구할 수 있게 됐습니다. 문제가 생긴 계층의 변환 로직만 수정·재처리해 리소스 낭비를 최소화했습니다.
  • WAP 패턴으로 데이터 신뢰도 100%:
    격리 브랜치에서 검증을 마친 데이터만 프로덕션에 병합하고, 스테이징 대신 Nessie의 메타데이터 기반 브랜치로 Zero-Copy 롤백/병합 체계를 구축해 데이터 이동 리소스 낭비를 없앴습니다.
  • GX 기반 품질 체크 가시성:
    검증 로직을 Airflow Task 내 코드로 내재화해 관리 포인트를 일원화했고, Data Quality Docs의 S3 정적 호스팅과 Slack 실시간 알림 루프로 검증 결과를 상시 모니터링할 수 있게 됐습니다.