seon99il

← GITSIGHT

k3s 기반 Spark-on-k8s, Airflow 데이터 파이프라인 인프라 설계 및 마이그레이션

트래픽 집중 시간대의 DAG 병목과 상시 가동 Spark 노드의 유휴 자원 낭비를 Spark-on-K8s 동적 할당으로 해소

k3sSpark on K8sAirflowSparkKubernetesOperator

문제

  • 트래픽 집중으로 인한 파이프라인 병목:
    시간 단위로 유입되는 RAW 데이터(GH Archive)를 신속하게 가공·서빙하려다 보니 매시 10~20분 사이에 Airflow DAG 트리거가 집중되어 처리 병목이 발생했습니다.
  • 정형 인프라로 인한 유휴 리소스 낭비:
    배치 작업이 없는 시간대에도 상시 가동(Always-on) 중인 Spark Master/Worker 노드가 자원을 계속 점유해 서버 CPU/Memory가 낭비됐습니다.
  • 스토리지·네트워크 엔드포인트 정적 관리로 인한 관리 포인트 증가:
    Airflow Worker에서 Spark Driver를 실행하는 구조라 Catalog, MinIO 등 연동 리소스를 직접 관리해야 했고, Scale Out/In 시 네트워크 정책 등을 수동으로 바꿔야 했습니다.

도출된 기술적 요구사항

  • 탄력적 스케일링 (Elastic Scaling):
    • 기존 Spark Standalone (Docker) 경우 정적 자원 할당 방식으로 인해 동적 자원 할당 및 회수가 불가능
    • Hadoop/YARN은 단일 프로젝트 대비 아키텍처 오버헤드가 크고 리소스 매니저 자체의 상시 점유율이 높음
  • 스토리지 및 네트워크 관리의 추상화:
    • Airflow Worker에 종속되어 정적으로 바인딩되던 스토리지 설정을 탈피
    • 볼륨 마운트와 Spark 및 외부 시스템(Catalog, MinIO)간 네트워크 통신을 유연하고 선언적으로 관리할 수 있는 시스템 필요

해결

  • K3s 기반 Spark-on-K8s 아키텍처 설계:
    고정형 Standalone 방식을 버리고, Airflow가 K3s 클러스터의 API Server와 직접 통신해 Spark Job을 제어하도록 구성했습니다.
  • Dynamic Allocation 구현 및 Airflow Worker 의존성 제거:
    SparkKubernetesOperator를 도입해 잡 실행 시 K3s 클러스터 내에 Driver/Executor를 동적으로 격리 생성하고, 정적 블록 스토리지·네트워크 마운트 의존성을 제거해 쿠버네티스 볼륨과 네트워크 서브넷 안에서 동적으로 제어되도록 했습니다.
  • 환경 설정 및 보안의 클라우드 네이티브화:
    컨테이너 내부에 흩어져 있던 AWS S3 자격 증명과 데이터베이스 접속 정보를 K3s Secret과 ConfigMap으로 이관해 보안성과 배포 가시성을 확보했습니다.

결과

  • 인프라 리소스 점유율 50% 이상 절감:
    배치 작업이 없는 유휴 시간대(매시 약 40분간)의 Spark Worker 자원 점유율을 0%로 제거해 점유율을 약 50% 이상 줄였습니다.
  • 인프라 관리 오버헤드 감소:
    스케일 아웃 시마다 Airflow Worker 노드 단위로 수동 관리하던 블록 스토리지 마운트와 네트워크 엔드포인트 설정을 쿠버네티스 선언적 내장 기능(CSI, K8s Networking)으로 자동화했습니다.
  • 파이프라인 병목 완화:
    피크 타임(HH:10 ~ HH:20)에 집중되는 대용량 RAW 데이터를 K3s의 탄력적 스케일 아웃으로 수용해 데이터 가공 Latency를 줄였습니다.
  • AWS EKS 및 Spot 인스턴스 도입 기반 마련:
    모든 워크로드를 쿠버네티스 Native 환경으로 표준화해 퍼블릭 클라우드(AWS EKS) 마이그레이션 시 즉시 적용할 수 있는 구조를 확립했고, 중단 가능한 Executor Pod를 Spot 인스턴스 노드 그룹에 분리 배치해 비용 효율화를 달성할 수 있는 기반을 마련했습니다.