This post is not translated yet, so it is shown in Korean.
Data EngineeringSpark on Production: Standalone 클러스터 네트워크 구성 (Client 모드)
3 min read
#apache-spark#spark-standalone#docker-compose#networking
Client 모드에서의 통신 방향
Client 모드에서는 spark-submit을 실행한 호스트에서 Driver가 뜹니다. 따라서 Worker 노드에서 실행되는 Executor가 Driver 쪽으로 먼저 연결할 수 있어야 합니다.
- Executor → Driver: Driver RPC 포트 (
spark.driver.port) - Executor → Driver: Driver의 BlockManager 포트 (
spark.blockManager.port) - Driver ↔ Executor, Executor ↔ Executor: 각 Executor의 BlockManager 포트 (셔플·브로드캐스트 블록 전송)
BlockManager와 포트 고정
BlockManager는 Driver와 각 Executor마다 하나씩 존재하며, 블록(셔플 데이터, 브로드캐스트 변수, 캐시)을 서로 주고받습니다. 그래서 Driver와 Executor는 서로의 BlockManager에 접근할 수 있어야 합니다.
- Driver 포트와 BlockManager 포트는 기본값이 랜덤이며, Job(Application)마다 새로 바인딩되고 공유되지 않습니다.
- 랜덤 포트로는 보안 그룹·방화벽 규칙을 정할 수 없으므로 시작 포트를 고정하고,
spark.port.maxRetries로 허용 범위를 제한합니다. - 같은 호스트에서 여러 Job이 동시에 뜨면 이미 사용 중인 포트를 건너뛰고
7088 → 7089 → …순으로 최대maxRetries번 다음 포트를 시도합니다. 즉, 시작 포트 ~ 시작 포트 + maxRetries 범위를 열어둬야 합니다.
Driver 설정
{
"spark.driver.bindAddress": "0.0.0.0",
"spark.driver.host": "<DRIVER_HOST_IP>",
"spark.driver.port": "7087",
"spark.blockManager.port": "7088",
"spark.port.maxRetries": "10"
}
spark.driver.bindAddress: 컨테이너 안에서 실제로 바인딩할 주소 (모든 인터페이스)spark.driver.host: Executor가 Driver에 접속할 때 사용하는 주소. 다른 서버에서 접근 가능한 호스트 IP여야 합니다.
Master & Worker (docker compose)
spark-master:
profiles: [ spark ]
ports:
- "8090:8080" # Spark Master Web UI
- "7077:7077" # Spark Master Port (Submit jobs through this port)
build:
context: .
dockerfile: Dockerfile-Spark
image: gitsight/spark:3.5.1
environment:
- SPARK_MODE=master
- SPARK_LOCAL_IP=0.0.0.0 # 미설정 시 Worker가 Master를 못 찾음
- SPARK_PUBLIC_DNS=<MASTER_HOST_IP> # Web UI DNS
spark-worker:
network_mode: "host"
profiles: [ spark ]
ports:
- "8081:8081" # Spark Worker Web UI
- "7072:7072" # Spark Worker Port
- "7098-7108:7098-7108" # Spark Block Manager Port Range
build:
context: .
dockerfile: Dockerfile-Spark
image: gitsight/spark:3.5.1
environment:
- SPARK_MODE=worker
- SPARK_WORKER_MEMORY=4G
- SPARK_WORKER_CORES=2
- SPARK_MASTER_URL=spark://<MASTER_HOST_IP>:7077 # Master IP
- SPARK_PUBLIC_DNS=<MASTER_HOST_IP> # Web UI DNS
- SPARK_WORKER_PORT=7072 # Worker Port
- SPARK_EXECUTOR_OPTS=-Dspark.blockManager.port=7088 -Dspark.port.maxRetries=10 # Block Manager Port (Not use Random)
depends_on:
- spark-master
트러블슈팅: Worker 등록 IP와 Job Pending
Worker는 SPARK_LOCAL_IP로 Master에 등록되고, 그 Worker에서 뜨는 Executor의 BlockManager도 같은 IP를 사용합니다.
- 컨테이너 내부 IP로 등록되면, 다른 서버에 있는 Driver가 Executor의 BlockManager에 접근하지 못해 Job이 pending 상태에 머뭅니다.
- Worker를
network_mode: host로 띄워 호스트 IP로 등록되게 하고, Driver에서 해당 포트 범위에 접근할 수 있도록 열어 해결했습니다.
포트 오픈 목록
| 대상 | 용도 | 포트 |
|---|---|---|
| Driver | Spark Driver Listener | 7087-7097 |
| Driver | Spark Block Manager Listener | 7098-7108 |
| Worker | Executor Block Manager | 7088-7098 |
| Master | Spark Master (Job submit) | 7077 |
운영 시 주의할 점
- 포트는 내부망에만 열기: 위 포트들은 보안 그룹에서 클러스터 서버(VPC/서브넷 CIDR)끼리만 허용하고,
0.0.0.0/0으로 열지 않습니다. - Master 7077 / Web UI는 인증이 없다: 기본 설정의 Standalone Master는 접근만 되면 누구나 Job을 제출(= 임의 코드 실행)할 수 있습니다. 외부에 노출하지 말고, 필요하면
spark.authenticate=true+spark.network.crypto.enabled=true로 RPC 인증·암호화를 켭니다. - Web UI(8080/8081/4040): 환경 변수, 설정값, 실행 커맨드가 그대로 보이므로 외부에서는 SSH 터널이나 리버스 프록시 + 인증을 거쳐 접근합니다.