This post is not translated yet, so it is shown in Korean.
Rule 기반의 동적 링크 그룹핑 파이프라인 구현
비즈니스 로직을 Snowflake로 외부화하고 Strategy/Factory 패턴 실행 엔진으로 서비스 재배포 없이 그룹을 관리
AirflowSnowflakeStrategy PatternFactory PatternDynamic Task Mapping
문제
수집하고 식별한 방대한 단일 링크들을 사용자에게 유의미한 콘텐츠 피드로 제공하기 위해, 주제별로 묶어 메인 화면에 링크 묶음(그룹) 단위로 서빙할 수 있도록 링크를 그룹화하는 파이프라인이 필요했습니다.
도출된 기술적 요구사항
- 분류 결과의 완벽한 인과성(Explainability) 검증:
특정 링크가 해당 그룹에 포함된 ‘이유’를 명확하게 추적하고 타당성을 검증할 수 있는 투명한 분류 체계 - 명확한 바운더리를 가진 타겟 그룹 생성:
“신규 기능으로 ‘Web3’ 카테고리를 추가하고 싶다”는 요청처럼, 비즈니스 목적이 뚜렷하고 경계가 명확한 타겟 그룹을 정확히 생성 - 서비스 재배포 없는 그룹 관리:
트렌드에 맞춰 링크 그룹을 추가·삭제할 때, 전체 서비스나 파이프라인 코드를 재배포하지 않고 짧은 레이턴시 내에 즉각 반영할 수 있는 아키텍처
해결
- 인과성 및 통제력 확보를 위한 Rule-based 전략 채택:
결과를 보장할 수 없고 해석 비용이 드는 비지도 학습(K-Means) 대신, 목표의 명확성을 보장하는 규칙 기반(Rule-based) 전략 패턴을 채택해 분류의 인과성을 100% 확보했습니다. - Snowflake를 활용한 비즈니스 로직 완전 외부화:
모든 그룹핑 규칙(그룹명, Rule_Type, 상세 조건 등)을 하드코딩하지 않고 Snowflake DB의 GROUP_RULES 테이블로 완전히 외부화했습니다. - Strategy & Factory 패턴 기반의 실행 엔진(DAG) 구현:
파이프라인(DAG)에는 비즈니스 로직을 남기지 않고, DB 규칙을 읽어 Airflow의 동적 태스크 매핑(Dynamic Task Mapping)으로 병렬 Task를 생성하는 순수 실행 엔진으로 디커플링했습니다. DB의 RULE_TYPE을 기반으로 Factory가 그룹핑 알고리즘이 구현된 전략(Strategy) 객체 (KeywordStrategy, TagMatchStrategy, UrlMatchStrategy, CompositeStrategy)를 생성하며, 메인 파이프라인은 공통 인터페이스인.process()만 호출합니다.
결과
- 블랙박스 해소 및 100% 검증 가능한 타겟 그룹 생성:
ML 클러스터링의 불확실성을 배제하고 명확한 규칙 기반 엔진을 도입해, 기획 요구사항에 맞춰 “Web3 관련 그룹 생성” 같은 비즈니스 바운더리가 뚜렷한 타겟 그룹을 오차 없이 정확하게 메인 화면에 서빙할 수 있게 됐습니다. - 서비스 재배포 없는(No-Code) 초민첩 운영 환경 완성:
비즈니스 로직을 Snowflake DB로 위임해 신규 카테고리 추가 시 엔지니어의 코드 배포(Downtime) 없이 기획자가 DB 레코드 (CURD)를 조작하는 것만으로 짧은 레이턴시 안에 그룹핑이 실시간 적용되는 애자일(Agile)한 파이프라인을 구축했습니다. - 디자인 패턴(Strategy/Factory)을 통한 파이프라인 무한 확장성 달성:
DAG를 비즈니스 로직과 디커플링해, 추후 ‘저자별 그룹핑’ 같은 완전히 새로운 알고리즘이 필요해도 파이프라인 코드 수정 없이 새로운 ‘전략 클래스’만 팩토리에 등록하는 최소 공수 확장 체계를 확립했습니다.