#data-pipeline
Great Expectations(GX)로 데이터 품질 검증하기
아무리 정교한 대시보드와 뛰어난 머신러닝 모델이 있어도, 기반이 되는 데이터가 엉망이면 그 결과는 쓸모가 없습니다.
Airflow Best Practices
Airflow의 공식 문서의 Best Practices를 번역 및 요약한 내용입니다.
Airflow 스케줄링과 Execution Date 동작 원리
Apache Airflow 스케줄링 시 Execution Date 설정할 때 스케줄되어 실행되는 DAG와 backfill, trigger로 실행되는 DAG에 설정되는 Execution_date 차이를 정리합니다.