seon99il

About me

안녕하세요, 정성길입니다.

데이터 품질을 책임지는 데이터 엔지니어. 누가 어떤 용도로 꺼내 써도 믿을 수 있는 데이터를 만드는 일에 집중합니다.

보이는 데이터와 믿을 수 있는 데이터

데이터가 화면에 보이는 것과 그 데이터를 믿을 수 있는 것은 다른 문제라고 생각합니다. 숫자는 언제든 그럴듯하게 만들어 낼 수 있지만, 그 숫자가 어디서 왔고 어떤 변환을 거쳤는지 설명하지 못하면 의사결정의 근거가 되기 어렵습니다. 저는 데이터가 누군가의 손에 닿기 전에, 그 출처부터 품질까지 끝까지 책임지는 사람이 되고 싶습니다.

가장 경계하는 것

가장 경계하는 건 오류 자체보다 오류가 났는지조차 모르는 상태입니다. 데이터가 틀리는 건 어디서든 일어나지만, 유실이나 순서 뒤바뀜을 알아채지 못하면 그 위에 쌓인 모든 분석이 조용히 오염됩니다. 그래서 문제를 막는 것만큼 문제를 드러내는 일을 중요하게 봅니다.

제가 보는 것들

  • 리니지: 이 값이 어디서 왔고 무엇을 거쳤는지 추적할 수 있는가
  • 오염의 전파 범위: 문제가 생겼을 때 어디까지 퍼지는지, 퍼지기 전에 끊을 수 있는가
  • 관측성: 품질이 깨졌을 때 사람이 먼저 아는가, 사용자가 먼저 아는가
  • 재실행 안전성: 같은 작업을 다시 돌려도 결과가 같은가 (멱등성)
  • 최종 일관성: 지연은 허용하더라도 결국 같은 값으로 수렴하는가

지향하는 모습

데이터 품질을 개인의 꼼꼼함에 맡기지 않고 구조로 보장하는 팀을 지향합니다. 검증은 파이프라인의 일부여야 하고, 신뢰도는 말이 아니라 증명할 수 있는 상태여야 합니다. 그런 환경에서 “이 데이터는 믿고 쓰셔도 됩니다”라고 자신 있게 말할 수 있는 엔지니어가 되고 싶습니다.

이 블로그에는 그 과정에서 배운 것들을 기록합니다.