This post is not translated yet, so it is shown in Korean.
k3s 기반 Spark-on-k8s, Airflow 데이터 파이프라인 인프라 설계 및 마이그레이션
트래픽 집중 시간대의 DAG 병목과 상시 가동 Spark 노드의 유휴 자원 낭비를 Spark-on-K8s 동적 할당으로 해소
k3sSpark on K8sAirflowSparkKubernetesOperator
문제
- 트래픽 집중으로 인한 파이프라인 병목:
시간 단위로 유입되는 RAW 데이터(GH Archive)를 신속하게 가공·서빙하려다 보니 매시 10~20분 사이에 Airflow DAG 트리거가 집중되어 처리 병목이 발생했습니다. - 정형 인프라로 인한 유휴 리소스 낭비:
배치 작업이 없는 시간대에도 상시 가동(Always-on) 중인 Spark Master/Worker 노드가 자원을 계속 점유해 서버 CPU/Memory가 낭비됐습니다. - 스토리지·네트워크 엔드포인트 정적 관리로 인한 관리 포인트 증가:
Airflow Worker에서 Spark Driver를 실행하는 구조라 Catalog, MinIO 등 연동 리소스를 직접 관리해야 했고, Scale Out/In 시 네트워크 정책 등을 수동으로 바꿔야 했습니다.
도출된 기술적 요구사항
- 탄력적 스케일링 (Elastic Scaling):
- 기존 Spark Standalone (Docker) 경우 정적 자원 할당 방식으로 인해 동적 자원 할당 및 회수가 불가능
- Hadoop/YARN은 단일 프로젝트 대비 아키텍처 오버헤드가 크고 리소스 매니저 자체의 상시 점유율이 높음
- 스토리지 및 네트워크 관리의 추상화:
- Airflow Worker에 종속되어 정적으로 바인딩되던 스토리지 설정을 탈피
- 볼륨 마운트와 Spark 및 외부 시스템(Catalog, MinIO)간 네트워크 통신을 유연하고 선언적으로 관리할 수 있는 시스템 필요
해결
- K3s 기반 Spark-on-K8s 아키텍처 설계:
고정형 Standalone 방식을 버리고, Airflow가 K3s 클러스터의 API Server와 직접 통신해 Spark Job을 제어하도록 구성했습니다. - Dynamic Allocation 구현 및 Airflow Worker 의존성 제거:
SparkKubernetesOperator를 도입해 잡 실행 시 K3s 클러스터 내에 Driver/Executor를 동적으로 격리 생성하고, 정적 블록 스토리지·네트워크 마운트 의존성을 제거해 쿠버네티스 볼륨과 네트워크 서브넷 안에서 동적으로 제어되도록 했습니다. - 환경 설정 및 보안의 클라우드 네이티브화:
컨테이너 내부에 흩어져 있던 AWS S3 자격 증명과 데이터베이스 접속 정보를 K3s Secret과 ConfigMap으로 이관해 보안성과 배포 가시성을 확보했습니다.
결과
- 인프라 리소스 점유율 50% 이상 절감:
배치 작업이 없는 유휴 시간대(매시 약 40분간)의 Spark Worker 자원 점유율을 0%로 제거해 점유율을 약 50% 이상 줄였습니다. - 인프라 관리 오버헤드 감소:
스케일 아웃 시마다 Airflow Worker 노드 단위로 수동 관리하던 블록 스토리지 마운트와 네트워크 엔드포인트 설정을 쿠버네티스 선언적 내장 기능(CSI, K8s Networking)으로 자동화했습니다. - 파이프라인 병목 완화:
피크 타임(HH:10 ~ HH:20)에 집중되는 대용량 RAW 데이터를 K3s의 탄력적 스케일 아웃으로 수용해 데이터 가공 Latency를 줄였습니다. - AWS EKS 및 Spot 인스턴스 도입 기반 마련:
모든 워크로드를 쿠버네티스 Native 환경으로 표준화해 퍼블릭 클라우드(AWS EKS) 마이그레이션 시 즉시 적용할 수 있는 구조를 확립했고, 중단 가능한 Executor Pod를 Spot 인스턴스 노드 그룹에 분리 배치해 비용 효율화를 달성할 수 있는 기반을 마련했습니다.