날짜별로 보기
12월
11월
Airflow TriggerRule & Watcher Pattern
헷갈렸던 Trigger_Rule을 정리하고, 여기서 마주친 문제를 Watcher Pattern으로 해결하는 방법을 설명합니다.
Airflow Best Practices
Airflow의 공식 문서의 Best Practices를 번역 및 요약한 내용입니다.
Airflow UnitTest with DAG BAG
DAG_BAG 기반의 Airflow UnitTest와 Git Action을 활용하여 CI 설정에 대해 설명합니다.
Delta Lake with Polars: 파일 시스템에서 버저닝과 ACID 다루기
Delta Lake의 동작 방식과 주요 장점을 살펴보고, Polars로 로컬 환경에서 Delta 파일을 관리하는 방법을 알아봅니다.
Column-oriented Store: What's The Benefit?
행(row) vs 열(column) 인메모리 저장 구조와 이를 구현하는 Apache Arrow, Parquet, Polars의 내부 동작, 데이터 수정 시 발생하는 실제 처리까지 살펴봅니다.
Airflow 스케줄링과 Execution Date 동작 원리
Apache Airflow 스케줄링 시 Execution Date 설정할 때 스케줄되어 실행되는 DAG와 backfill, trigger로 실행되는 DAG에 설정되는 Execution_date 차이를 정리합니다.