seon99il

Data Engineering

Spark on Production: Standalone 클러스터 네트워크 구성 (Client 모드)

3분 소요

#apache-spark#spark-standalone#docker-compose#networking

Client 모드에서의 통신 방향

Client 모드에서는 spark-submit을 실행한 호스트에서 Driver가 뜹니다. 따라서 Worker 노드에서 실행되는 Executor가 Driver 쪽으로 먼저 연결할 수 있어야 합니다.

  • Executor → Driver: Driver RPC 포트 (spark.driver.port)
  • Executor → Driver: Driver의 BlockManager 포트 (spark.blockManager.port)
  • Driver ↔ Executor, Executor ↔ Executor: 각 Executor의 BlockManager 포트 (셔플·브로드캐스트 블록 전송)

BlockManager와 포트 고정

BlockManager는 Driver와 각 Executor마다 하나씩 존재하며, 블록(셔플 데이터, 브로드캐스트 변수, 캐시)을 서로 주고받습니다. 그래서 Driver와 Executor는 서로의 BlockManager에 접근할 수 있어야 합니다.

  • Driver 포트와 BlockManager 포트는 기본값이 랜덤이며, Job(Application)마다 새로 바인딩되고 공유되지 않습니다.
  • 랜덤 포트로는 보안 그룹·방화벽 규칙을 정할 수 없으므로 시작 포트를 고정하고, spark.port.maxRetries로 허용 범위를 제한합니다.
  • 같은 호스트에서 여러 Job이 동시에 뜨면 이미 사용 중인 포트를 건너뛰고 7088 → 7089 → … 순으로 최대 maxRetries번 다음 포트를 시도합니다. 즉, 시작 포트 ~ 시작 포트 + maxRetries 범위를 열어둬야 합니다.

Driver 설정

{
  "spark.driver.bindAddress": "0.0.0.0",
  "spark.driver.host": "<DRIVER_HOST_IP>",
  "spark.driver.port": "7087",
  "spark.blockManager.port": "7088",
  "spark.port.maxRetries": "10"
}
  • spark.driver.bindAddress: 컨테이너 안에서 실제로 바인딩할 주소 (모든 인터페이스)
  • spark.driver.host: Executor가 Driver에 접속할 때 사용하는 주소. 다른 서버에서 접근 가능한 호스트 IP여야 합니다.

Master & Worker (docker compose)

spark-master:
  profiles: [ spark ]
  ports:
    - "8090:8080" # Spark Master Web UI
    - "7077:7077" # Spark Master Port (Submit jobs through this port)
  build:
    context: .
    dockerfile: Dockerfile-Spark
  image: gitsight/spark:3.5.1
  environment:
    - SPARK_MODE=master
    - SPARK_LOCAL_IP=0.0.0.0 # 미설정 시 Worker가 Master를 못 찾음
    - SPARK_PUBLIC_DNS=<MASTER_HOST_IP> # Web UI DNS

spark-worker:
  network_mode: "host"
  profiles: [ spark ]
  ports:
    - "8081:8081" # Spark Worker Web UI
    - "7072:7072" # Spark Worker Port
    - "7098-7108:7098-7108" # Spark Block Manager Port Range
  build:
    context: .
    dockerfile: Dockerfile-Spark
  image: gitsight/spark:3.5.1
  environment:
    - SPARK_MODE=worker
    - SPARK_WORKER_MEMORY=4G
    - SPARK_WORKER_CORES=2
    - SPARK_MASTER_URL=spark://<MASTER_HOST_IP>:7077 # Master IP
    - SPARK_PUBLIC_DNS=<MASTER_HOST_IP> # Web UI DNS
    - SPARK_WORKER_PORT=7072 # Worker Port
    - SPARK_EXECUTOR_OPTS=-Dspark.blockManager.port=7088 -Dspark.port.maxRetries=10 # Block Manager Port (Not use Random)
  depends_on:
    - spark-master

트러블슈팅: Worker 등록 IP와 Job Pending

Worker는 SPARK_LOCAL_IP로 Master에 등록되고, 그 Worker에서 뜨는 Executor의 BlockManager도 같은 IP를 사용합니다.

  • 컨테이너 내부 IP로 등록되면, 다른 서버에 있는 Driver가 Executor의 BlockManager에 접근하지 못해 Job이 pending 상태에 머뭅니다.
  • Worker를 network_mode: host로 띄워 호스트 IP로 등록되게 하고, Driver에서 해당 포트 범위에 접근할 수 있도록 열어 해결했습니다.

포트 오픈 목록

대상용도포트
DriverSpark Driver Listener7087-7097
DriverSpark Block Manager Listener7098-7108
WorkerExecutor Block Manager7088-7098
MasterSpark Master (Job submit)7077

운영 시 주의할 점

  • 포트는 내부망에만 열기: 위 포트들은 보안 그룹에서 클러스터 서버(VPC/서브넷 CIDR)끼리만 허용하고, 0.0.0.0/0으로 열지 않습니다.
  • Master 7077 / Web UI는 인증이 없다: 기본 설정의 Standalone Master는 접근만 되면 누구나 Job을 제출(= 임의 코드 실행)할 수 있습니다. 외부에 노출하지 말고, 필요하면 spark.authenticate=true + spark.network.crypto.enabled=true로 RPC 인증·암호화를 켭니다.
  • Web UI(8080/8081/4040): 환경 변수, 설정값, 실행 커맨드가 그대로 보이므로 외부에서는 SSH 터널이나 리버스 프록시 + 인증을 거쳐 접근합니다.

댓글