#apache-spark
Apache Spark Memory Deep Dive: 브로드캐스트 변수의 배신과 OOM 해결기
브로드캐스트로 최적화했는데 왜 또 OOM이 날까? 브로드캐스트 변수가 숨기고 있던 메모리 복제의 실체와, 대규모 데이터 파이프라인을 위한 조인 최적화 전략을 알아봅니다.
Apache Spark Deep Dive: Memory
Apache Spark의 메모리 구조와 Unified Memory Manager, Spill, OOM 분석 및 Shuffle 시 메모리 할당 메커니즘을 정리합니다.
Apache Spark Deep Dive: repartition & coalesce
Spark에서 파티션 수를 변경할 때 사용하는 repartition과 coalesce의 차이와 각각의 동작 방식을 알아봅니다.
Apache Spark Deep Dive: Shuffle
Spark에서 Shuffle이 어떤 단계를 거쳐서 일어나고 각 단계마다 파티션 수가 어떻게 변하는지 알아봅니다.