Data Engineering
Apache Spark Memory Deep Dive: 브로드캐스트 변수의 배신과 OOM 해결기
브로드캐스트로 최적화했는데 왜 또 OOM이 날까? 브로드캐스트 변수가 숨기고 있던 메모리 복제의 실체와, 대규모 데이터 파이프라인을 위한 조인 최적화 전략을 알아봅니다.
Great Expectations(GX)로 데이터 품질 검증하기
아무리 정교한 대시보드와 뛰어난 머신러닝 모델이 있어도, 기반이 되는 데이터가 엉망이면 그 결과는 쓸모가 없습니다.
Apache Spark Deep Dive: Memory
Apache Spark의 메모리 구조와 Unified Memory Manager, Spill, OOM 분석 및 Shuffle 시 메모리 할당 메커니즘을 정리합니다.
Apache Spark Deep Dive: repartition & coalesce
Spark에서 파티션 수를 변경할 때 사용하는 repartition과 coalesce의 차이와 각각의 동작 방식을 알아봅니다.
Apache Spark Deep Dive: Shuffle
Spark에서 Shuffle이 어떤 단계를 거쳐서 일어나고 각 단계마다 파티션 수가 어떻게 변하는지 알아봅니다.
Airflow TriggerRule & Watcher Pattern
헷갈렸던 Trigger_Rule을 정리하고, 여기서 마주친 문제를 Watcher Pattern으로 해결하는 방법을 설명합니다.
Airflow Best Practices
Airflow의 공식 문서의 Best Practices를 번역 및 요약한 내용입니다.
Delta Lake with Polars: 파일 시스템에서 버저닝과 ACID 다루기
Delta Lake의 동작 방식과 주요 장점을 살펴보고, Polars로 로컬 환경에서 Delta 파일을 관리하는 방법을 알아봅니다.
Column-oriented Store: What's The Benefit?
행(row) vs 열(column) 인메모리 저장 구조와 이를 구현하는 Apache Arrow, Parquet, Polars의 내부 동작, 데이터 수정 시 발생하는 실제 처리까지 살펴봅니다.
Airflow 스케줄링과 Execution Date 동작 원리
Apache Airflow 스케줄링 시 Execution Date 설정할 때 스케줄되어 실행되는 DAG와 backfill, trigger로 실행되는 DAG에 설정되는 Execution_date 차이를 정리합니다.