This post is not translated yet, so it is shown in Korean.
Linkchain
여러 서비스에 저장되어 있는 링크를 한 곳으로 통합 관리할 수 있으며, 벡터 임베딩을 통해 관련된 링크 목록을 추천해주는 서비스
프로그래머스 데브코스 · 팀 프로젝트 (4인) · 2025.12. - 2026.01. (1개월)

기획 배경 및 목적
- 디지털 북마크의 파편화:
유튜브의 ‘나중에 볼 동영상’, 크롬 브라우저의 ‘즐겨찾기’, 각종 뉴스레터와 블로그 등 유용한 정보가 여러 플랫폼에 흩어져 저장되어 있어, 필요한 시점에 정보를 찾지 못하거나 저장된 링크가 활용되지 못한 채 방치되는 ‘정보의 사장화’ 문제가 발생합니다. - 통합 관리 거점의 부재:
서로 다른 플랫폼에서 수집된 다양한 형태의 콘텐츠를 한곳에서 일관된 포맷으로 관리할 수 있는 통합 대시보드가 필요합니다. - 지능형 연관 정보의 발견:
단순한 링크 목록 제공에서 나아가, 사용자가 수집한 파편화된 데이터의 의미를 분석해 유사하거나 연관된 새로운 기술 정보를 선제적으로 제안하여 학습 흐름이 끊기지 않고 확장될 수 있도록 돕고자 합니다.
사용한 데이터

- 사용자가 저장한 링크 목록:
사용자가 Linkchain 웹/앱을 통해 저장한 링크를 기반으로 추천·그룹화를 진행해 다시 사용자에게 제공합니다. - Crawling URLs (Velog, YouTube, Naver News, … ):
초기 MVP 단계에서 콜드스타트로 인한 유저 이탈을 방지하기 위해 Crawling으로 링크를 적재했습니다.
핵심 기능
- 링크별 관련된 링크 추천:
sentence-transformers 모델로 텍스트를 벡터로 변환해 문맥적으로 유사한 콘텐츠를 연결하고 사용자 취향에 맞춤형 정보를 노출합니다. - 관련 그룹화된 링크 목록:
Tag, Title, Description을 활용해 링크를 그룹화하고 메인 화면에 제공합니다. - 관심사가 비슷한 사용자 추천:
사용자별 저장한 링크를 기반으로 관심사가 비슷한 사용자(큐레이터)를 추천합니다.
파이프라인
나무위키, YouTube, Naver News, Velog 크롤링과 사용자가 저장한 URL을 수집(Ingest URLs)하고, OLAP 쪽에서 HTML을 가져와 S3에 저장한 뒤 URL 메타 데이터(Title, Description)를 추출합니다. 이 데이터에 Grouping, Tagging, Embedding(sentence-transformers)을 적용한 결과를 OLTP로 내려 그룹화된 링크 목록, 관련 링크 추천, 관심사가 비슷한 사용자 추천에 사용합니다.

Tech stack
- Data Processing
Apache Airflow
Pandas
Python
- Data Storage
S3 Bucket
Snowflake
Amazon RDS
- DevOps
Github Actions
Ansible
- Backend Server
FastAPI
- Visualization
React
CloudFront
Troubleshooting
Git-flow 기반 협업 문화 정착 및 CI/CD 자동화 파이프라인 구축
코드 리뷰 부재와 수동 배포를 2인 크로스 리뷰, GitHub Actions CI, Ansible Dynamic Inventory CD로 해결
Git-flowGitHub ActionsAnsibleAWS
다운스트림 연산 효율 최적화를 위한 원본 HTML 적재 크롤러 구현
중복 크롤링과 리니지 단절을 URL 정제·해시 식별자·LEFT Anti Join·Async Playwright로 해결
PlaywrightS3AirflowdbtData Lineage
Rule 기반의 동적 링크 그룹핑 파이프라인 구현
비즈니스 로직을 Snowflake로 외부화하고 Strategy/Factory 패턴 실행 엔진으로 서비스 재배포 없이 그룹을 관리
AirflowSnowflakeStrategy PatternFactory PatternDynamic Task Mapping