GitOps 기반 선언적 인프라 및 무중단 배포(CI/CD) 환경 구축
K8s 전환으로 복잡해진 수동 배포를 Kaniko 빌드와 ArgoCD GitOps로 100% 자동화
GitOpsArgoCDKanikoGitHub ActionsHelm
문제
- K8s 마이그레이션의 사이드 이펙트:
Docker Compose 기반 Spark Standalone 환경을 K3s 기반 Spark on K8s로 전환하며 배포 프로세스의 복잡도가 급증했습니다. - 개발 생산성 저하:
코드 변경마다컨테이너 빌드 → 레지스트리 푸시 → K8s 매니페스트(YAML) 수정 → kubectl apply라는 번거로운 수동 배포를 거쳐야 했습니다. - 휴먼 에러 및 구성 표류(Drift):
이미지 태그 불일치나 매니페스트 작성 오류가 빈번했고, 클러스터의 실제 상태와 Git에 저장된 코드가 달라져 디버깅이 매우 어려웠습니다.
도출된 기술적 요구사항
- 과거의 개발 경험(DX) 복원 및 고도화:
복잡한 K8s 배포 과정을 자동화하여,Docker Compose처럼 개발자가 코드 갱신에만 집중할 수 있는 파이프라인이 필요 - CI와 CD의 책임 분리:
빌드(CI)와 인프라 상태 반영(CD)을 분리하여 리소스를 최적화하고, 보안 접근 권한을 최소화하는 안전한 환경이 요구 - 단일 진실 공급원(SSOT) 기반 자동화:
인프라 매니페스트를 특정 브랜치 (Main)에서만 관리하고, 이를 클러스터와 강제로 동기화할 수 있는 선언적 배포 시스템이 필요것
해결
- SSH 기반 K8s Job 트리거 및 Kaniko 빌드 (CI 자동화):
개발자가 PR을 생성하면 GitHub Actions가 감지하고 SSH로 K3s 클러스터 내부의 이미지 빌드용 Job만 트리거합니다. 외부의 무거운 러너 대신 K3s 내부 자원과 Kaniko를 활용해 도커 데몬 없이 이미지를 빌드하고 내부 Zot Registry에 푸시하며, Helm 차트로 관리되는 Airflow의 Spark Image Tag Variable은 GitHub Action Bot이 변경·커밋합니다. - ArgoCD 도입 및 GitOps 구현 (CD 자동화):
수동 kubectl apply를 제거하고, 클러스터 내부의 ArgoCD가 Git 저장소의 매니페스트 변경을 감지해 동기화(Pull)하도록 구성했습니다. CI가 새로운 이미지 태그를 Git에 업데이트하면 ArgoCD가 Airflow, Spark 및 외부 시스템(Catalog, MinIO) 애플리케이션을 무중단으로 최신화합니다. - 기술적 타당성:
단순히 Jenkins나 GitHub Actions로 직접 배포(Push)할 수도 있었지만, K8s 내부의 보안(권한 노출)을 지키면서 롤백 속도를 극대화하기 위해 GitOps를 선택했습니다. CI와 CD가 분리되어 있어 장애 시 빌드를 다시 거칠 필요 없이 Git Revert만으로 즉시 롤백할 수 있습니다.
결과
- 개발 생산성 극대화 (DX 개선):
K8s 전환으로 복잡해졌던 배포 과정을 100% 자동화하고, Git Push만으로 무중단 배포를 수행합니다. - 빌드 리소스 및 시간 최적화:
K3s 클러스터 내부 자원과 Kaniko 캐싱을 활용해 외부 종속성 없이 빌드 비용과 소요 시간을 크게 단축했습니다. - 구성 표류 원천 차단 (Self-healing):
ArgoCD의 Auto-Sync로 K8s 클러스터의 상태가 항상 Main 브랜치의 선언적 상태와 일치하도록 강제해 휴먼 에러를 제거하고 운영 안정성을 확보했습니다. - 이미지 버저닝을 통한 오류 재현 및 백필(Backfill) 유연성 확보:
프로덕션 장애 시 문제가 된 특정 버전의 이미지를 개발 환경에 그대로 띄워 동일한 조건에서 오류를 즉각 재현·디버깅할 수 있고, 과거 데이터를 재처리해야 할 때도 원하는 시점의 이미지 버전(Tag)만 지정해 Spark Job을 실행할 수 있습니다.