#data-engineering
Apache Spark Memory Deep Dive: 브로드캐스트 변수의 배신과 OOM 해결기
브로드캐스트로 최적화했는데 왜 또 OOM이 날까? 브로드캐스트 변수가 숨기고 있던 메모리 복제의 실체와, 대규모 데이터 파이프라인을 위한 조인 최적화 전략을 알아봅니다.
Great Expectations(GX)로 데이터 품질 검증하기
아무리 정교한 대시보드와 뛰어난 머신러닝 모델이 있어도, 기반이 되는 데이터가 엉망이면 그 결과는 쓸모가 없습니다.
Apache Spark Deep Dive: Memory
Apache Spark의 메모리 구조와 Unified Memory Manager, Spill, OOM 분석 및 Shuffle 시 메모리 할당 메커니즘을 정리합니다.
Apache Spark Deep Dive: Shuffle
Spark에서 Shuffle이 어떤 단계를 거쳐서 일어나고 각 단계마다 파티션 수가 어떻게 변하는지 알아봅니다.
Delta Lake with Polars: 파일 시스템에서 버저닝과 ACID 다루기
Delta Lake의 동작 방식과 주요 장점을 살펴보고, Polars로 로컬 환경에서 Delta 파일을 관리하는 방법을 알아봅니다.