seon99il

← 프로젝트

GITSIGHT

Git Archive에 시간 단위로 적재되는 깃허브 이벤트(Commit, PR, Star)를 활용해 인기를 얻고 있는 레포지토리를 빠르게 발견하고 추적할 수 있는 서비스

개인 프로젝트 (1인) · 2026.03. - 2026.05

기획 배경 및 목적

  • 코드 폭발 시대의 도래: AI와 ‘바이브 코딩(Vibe Coding)’ 트렌드로 인해 매일 방대한 양의 새로운 레포지토리와 기술이 쏟아지고 있습니다.
  • 기존 Trending의 한계: GitHub의 기본 트렌드 페이지는 일/주/월간 단위의 단순 텍스트 리스트에 그쳐, 실시간으로 부상하는 신기술을 기민하게 포착하기 어렵습니다.
  • 입체적 인사이트 부재: 글로벌 통합 지표만으로는 ‘특정 국가에서 현재 어떤 언어와 기술 스택이 인기 있는지’와 같은 지역별 세밀한 트렌드를 파악할 수 없었습니다.

사용한 데이터

data preview
  • GH Archive: GitHub에서 발생하는 이벤트 로그(Star, Fork, Pull Request, Push 등)가 시간 단위로 적재됩니다.
  • GitHub Open API: GH Archive의 이벤트 로그에는 식별자(repo_id, user_id)만 있기 때문에, Dimension 정보(컨트리뷰트 프로필, 국가/지역 정보)를 API 호출을 통해서 적재합니다.

핵심 기능

  • 시간 단위 가장 인기 있는 깃허브 레포지토리: 단순 일간 트렌드를 넘어, 실시간에 가까운 시간 단위의 오픈소스 트렌드 파악
  • 레포지토리별 인기 변화 히스토리: 특정 프로젝트가 어떤 시점에 폭발적으로 성장했는지 시계열 생명주기 추적
  • 국가별 레포지토리 기여도: 글로벌 오픈소스 생태계에서 특정 국가의 개발자들이 어느 레포지토리에 활발히 기여하고 있는지 지리적 분포 분석
  • 국가별 인기 레포지토리: 지역(국가)별로 선호하는 기술 스택이나 트렌드 도출

파이프라인

GH Archive와 GitHub Open API를 입력으로 Extract → Transform → Load → Audit 순서의 데이터 ETL/ELT 파이프라인을 거쳐 위 기능에 필요한 데이터를 만듭니다. Audit에서 문제가 발견되면 다시 Extract로 돌아갑니다.

Software Architecture

기술 스택

Data Processing
Apache SparkApache AirflowPython
Data Storage
MinIOApache IcebergPostgres
Data Quality checking & Catalog
Great ExpectationsNessie Catalog
DevOps
Github ActionsKubernetesHelmArgoCD
Visualization & Server
ReactSupabase

트러블슈팅