seon99il

← 프로젝트

Linkchain

여러 서비스에 저장되어 있는 링크를 한 곳으로 통합 관리할 수 있으며, 벡터 임베딩을 통해 관련된 링크 목록을 추천해주는 서비스

프로그래머스 데브코스 · 팀 프로젝트 (4인) · 2025.12. - 2026.01. (1개월)

project preview

기획 배경 및 목적

  • 디지털 북마크의 파편화:
    유튜브의 ‘나중에 볼 동영상’, 크롬 브라우저의 ‘즐겨찾기’, 각종 뉴스레터와 블로그 등 유용한 정보가 여러 플랫폼에 흩어져 저장되어 있어, 필요한 시점에 정보를 찾지 못하거나 저장된 링크가 활용되지 못한 채 방치되는 ‘정보의 사장화’ 문제가 발생합니다.
  • 통합 관리 거점의 부재:
    서로 다른 플랫폼에서 수집된 다양한 형태의 콘텐츠를 한곳에서 일관된 포맷으로 관리할 수 있는 통합 대시보드가 필요합니다.
  • 지능형 연관 정보의 발견:
    단순한 링크 목록 제공에서 나아가, 사용자가 수집한 파편화된 데이터의 의미를 분석해 유사하거나 연관된 새로운 기술 정보를 선제적으로 제안하여 학습 흐름이 끊기지 않고 확장될 수 있도록 돕고자 합니다.

사용한 데이터

  • 사용자가 저장한 링크 목록:
    사용자가 Linkchain 웹/앱을 통해 저장한 링크를 기반으로 추천·그룹화를 진행해 다시 사용자에게 제공합니다.
  • Crawling URLs (Velog, YouTube, Naver News, … ):
    초기 MVP 단계에서 콜드스타트로 인한 유저 이탈을 방지하기 위해 Crawling으로 링크를 적재했습니다.

핵심 기능

  • 링크별 관련된 링크 추천:
    sentence-transformers 모델로 텍스트를 벡터로 변환해 문맥적으로 유사한 콘텐츠를 연결하고 사용자 취향에 맞춤형 정보를 노출합니다.
  • 관련 그룹화된 링크 목록:
    Tag, Title, Description을 활용해 링크를 그룹화하고 메인 화면에 제공합니다.
  • 관심사가 비슷한 사용자 추천:
    사용자별 저장한 링크를 기반으로 관심사가 비슷한 사용자(큐레이터)를 추천합니다.

파이프라인

나무위키, YouTube, Naver News, Velog 크롤링과 사용자가 저장한 URL을 수집(Ingest URLs)하고, OLAP 쪽에서 HTML을 가져와 S3에 저장한 뒤 URL 메타 데이터(Title, Description)를 추출합니다. 이 데이터에 Grouping, Tagging, Embedding(sentence-transformers)을 적용한 결과를 OLTP로 내려 그룹화된 링크 목록, 관련 링크 추천, 관심사가 비슷한 사용자 추천에 사용합니다.

Software Architecture

기술 스택

Data Processing
Apache AirflowPandasPython
Data Storage
S3 BucketSnowflakeAmazon RDS
DevOps
Github ActionsAnsible
Backend Server
FastAPI
Visualization
ReactCloudFront

트러블슈팅