Great Expectations(GX)로 데이터 품질 검증하기
7분 소요

데이터 품질 검사(Data Quality Check) 는 가장 단순하게 말해 하나의 근본적인 질문을 확인하는 과정입니다. “이 데이터를 믿고 써도 되는가?”
대시보드가 아무리 정교하고 머신러닝 모델이 아무리 뛰어나도, 바탕이 되는 데이터에 빈 값이 많거나 형식이 제각각이면 결과물은 가치가 없어집니다. 흔히 말하는 “Garbage In, Garbage Out” 문제입니다. 하지만 빅데이터 규모에서 이 무결성을 보장하는 것은 쉬운 일이 아니며, 특히 눈으로 직접 확인하는 방식으로는 한계가 있습니다.
1. 데이터 품질의 6가지 핵심 차원
데이터가 “품질이 좋다”고 말할 때는 보통 다음 여섯 가지 기준으로 평가합니다.
- 정확성 (Accuracy)
- 질문: 데이터가 실제 사실을 반영하는가?
- 예시: 고객의 나이가 200으로 기록되어 있지는 않은가?
- 완전성 (Completeness)
- 질문: 필요한 데이터가 누락 없이 모두 존재하는가?
- 예시: “Null” 값의 비율이 허용 범위 안에 있는가?
- 일관성 (Consistency)
- 질문: 서로 다른 시스템이나 테이블에서 정보가 일치하는가?
- 예시: 판매 테이블에서는 “주문 완료”인데 회계 테이블에서는 “결제 취소”로 나오지는 않는가?
- 유효성 (Validity)
- 질문: 데이터가 정의된 형식이나 비즈니스 규칙을 지키는가?
- 예시: 이메일 주소에 ”@“가 들어 있는가, 날짜가
YYYY-MM-DD형식인가?
- 적시성 (Timeliness)
- 질문: 데이터가 최신 상태이고 필요한 시점에 사용할 수 있는가?
- 예시: 오늘 대시보드에 어제 발생한 거래가 정확히 반영되어 있는가?
- 유일성 (Uniqueness)
- 질문: 중복되거나 불필요하게 반복된 레코드가 없는가?
- 예시: 한 번의 구매에 같은 거래 ID가 두 번 생성되지는 않았는가?
2. 왜 데이터 품질이 중요한가?
단순히 “데이터를 깨끗하게 유지” 하는 것을 넘어, 데이터 품질을 확보하는 일은 비즈니스 측면에서 여러 가지로 중요합니다.
- 의사결정에 대한 신뢰 향상: 부정확한 데이터는 경영진의 잘못된 전략적 판단으로 이어집니다. 데이터 품질 검사는 데이터 팀이 전달하는 지표와 인사이트에 대한 “보증 도장” 역할을 하며, 모든 이해관계자가 숫자를 믿고 사용할 수 있게 해 줍니다.
- 비용 효율 (Shift-Left 접근): 데이터 오류는 하류(downstream) 로 흘러갈수록 고치는 데 드는 비용과 자원이 기하급수적으로 커집니다. 파이프라인 초기에 선제적으로 검사하면, 최종 사용자에게 영향을 주기 전에 값비싼 “데이터 사고”를 막을 수 있습니다.
- 확장 가능한 파이프라인 거버넌스: 데이터 양이 늘어나면 수작업 검증은 불가능해집니다. Great Expectations(GX) 같은 도구를 활용하면 검증 과정을 자동화해, 사람의 개입 없이도 시스템이 스스로 이상 징후를 찾아내고 알려주도록 만들 수 있습니다.
3. 데이터 품질 검사는 어디에 둘까
데이터 품질은 한 번만 확인하고 끝나는 일이 아닙니다. 데이터가 파이프라인을 흐르는 여러 지점에서 검증해야 합니다.
- 수집 (Ingestion, 입구 단계): 데이터가 소스에서 들어오는 순간 검증합니다. 이 단계에서는 주로 스키마 검증, 즉 데이터 타입이 올바르고 구조가 예상과 일치하는지 확인합니다.
- 변환 (Transformation, 처리 단계): 데이터를 정제하고 집계하는 과정에서는 비즈니스 로직을 검증해야 합니다. 예를 들어 개별 거래의 합이 기록된 총액과 일치하는지, 계산된 필드가 논리적인 범위 안에 있는지 확인할 수 있습니다.
- 서빙 (Serving, 전달 단계): 데이터가 최종 사용자나 BI 도구에 도달하기 전 마지막 관문입니다. 여기서는 최종 결과물의 무결성을 확인해, 처리된 데이터가 일관되고 완전하며 의사결정에 바로 쓸 수 있는 상태인지 검증합니다.
이런 검증 지점을 자동화하고 코드로 관리하려면(Validation-as-Code), 현대 데이터 스택에서 가장 강력하고 널리 쓰이는 도구 중 하나인 Great Expectations(GX) 가 좋은 선택입니다.
Great Expectations(GX)의 핵심 구성 요소
데이터 품질을 효과적으로 관리하기 위해 GX는 서로 맞물려 동작하는 여러 핵심 구성 요소로 이루어져 있습니다.

Data Context
Data Context 는 GX 프로젝트의 “중앙 관제탑”입니다.
설정 파일, 데이터소스 정보, Expectation Suite 등 프로젝트의 모든 설정을 관리합니다. 보통 gx/ 디렉터리 안의 YAML 파일이나 Python 객체로 존재하며, 데이터가 어디에 있고 결과를 어디에 저장할지를 정의합니다. 저장 경로를 Amazon S3 같은 클라우드 서비스로 설정하면, 검증 결과를 Data Docs 리포트로 바로 전달할 수 있습니다.
Datasource
Datasource 는 GX가 어떤 데이터에 접근할지 정의합니다.
데이터베이스(PostgreSQL, BigQuery), 클라우드 스토리지(S3, GCS), 로컬 파일(CSV, Parquet) 등과의 연결을 담당합니다. 단순히 경로를 지정하는 데 그치지 않고, 데이터를 처리할 실행 엔진(Pandas, Spark, SQLAlchemy 등)도 함께 결정합니다.
Expectations & Expectation Suite
GX의 핵심으로, 실제 검증 규칙을 나타냅니다.
- Expectation: 데이터에 대한 하나의 요구사항을 정의하는 세밀한 “단위 규칙”입니다. 전체 목록은 GX Expectations Gallery에서 볼 수 있습니다.
- Expectation Suite: 여러 Expectation을 하나의 테스트 시나리오로 묶은 집합입니다. 예를 들어 “사용자 프로필 검증 Suite”에는 ID가 유일하고 이메일이 올바른 형식인지 확인하는 규칙이 들어갈 수 있습니다.
예를 들어 “사용자 정보 테이블 검증 Suite”에는 ID 유일성, 이메일 형식 준수 같은 규칙이 포함됩니다.
Batch Request
Batch Request 는 검증을 위해 Datasource에서 “어떤” 데이터를 가져올지 정확히 정의합니다.
처리할 데이터의 부분집합(“Batch”)을 지정하는 것으로, 특정 데이터베이스 테이블, 디렉터리 안의 파일 하나, 또는 필터링된 일부 데이터(예: 특정 날짜의 레코드)가 될 수 있습니다. 본질적으로 Datasource에서 대상 데이터를 골라 검증 엔진에 넘겨주는 다리 역할을 합니다.
Checkpoint
정의된 규칙(Expectation Suite)을 실제 데이터(Datasource)에 적용해 검증을 수행하는 실행 단위입니다.
“어떤 데이터를 어떤 규칙으로 검사하고, 결과가 나오면 어떤 동작(알림 전송 등)을 할 것인가?”를 정의합니다.
예제: 사용자 데이터 검증
Great Expectations로 데이터 검증이 이루어지는 전체 흐름을 살펴보겠습니다.
# users.csv
user_id,user_name,email,age,signup_date,status
1,Seonggil,seonggil@example.com,28,2024-01-15,active
2,James,james@test.com,34,2024-02-10,active
3,Anna,anna_google.com,22,2024-03-05,pending
4,,secret@hidden.com,-5,2024-03-20,active
5,Chris,chris@example.com,150,2024-04-01,canceled
1,Duplicate,double@test.com,30,2024-04-10,active
6,Olivia,olivia@example.com,25,2025-12-31,unknown
- 발견된 문제:
- 중복된 사용자 ID: (
user_id: 1) - 잘못된 이메일 형식: (
user_id: 3,email: anna_google.com)
- 중복된 사용자 ID: (
pip install "great-expectations>=0.18.22,<1.0.0"
참고: 버전 1.x.x 이상에서는 문법이 다를 수 있습니다.
Context 생성 또는 가져오기
Data Context 는 실행 결과와 테스트 시나리오(checkpoint, expectation, validation)를 JSON 형식으로 관리합니다. 부여한 이름으로 다시 불러와 재사용할 수 있습니다.
import great_expectations as gx
context = gx.get_context()
# context = gx.get_context(project_config=project_config)
Datasource 정의
Datasource 에는 “데이터가 어디서 오는가”에 대한 정보가 들어 있습니다.
context.add_datasource(
name="sample_data",
class_name="Datasource",
execution_engine={
"class_name": "PandasExecutionEngine" # Pandas 사용
},
data_connectors={
"default_runtime_data_connector_name": {
"class_name": "RuntimeDataConnector",
"batch_identifiers": ["default_identifier_name"],
}
},
)
Expectation 과 Suite 만들기
데이터 소스에 특정 Expectation Type 을 적용할 수 있습니다. 더 많은 규칙은 GX Expectations Gallery에서 확인해 보세요.
GX Expectations Gallery — 데이터 품질을 위한 풍부하고 협업하기 좋은 어휘 모음입니다. 직접 살펴보세요!
from great_expectations.core import ExpectationConfiguration
suite_name = "users_df_suite"
# 사용자 ID 유일성 검증
ex1 = ExpectationConfiguration(
expectation_type="expect_column_values_to_be_unique",
kwargs={"column": "user_id"},
)
# 정규식으로 이메일 형식 검증
email_regex = r"^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+$"
ex2 = ExpectationConfiguration(
expectation_type="expect_column_values_to_match_regex",
kwargs={
"column": "email",
"regex": email_regex
},
)
# Suite를 Context에 적용
context.add_or_update_expectation_suite(
suite_name,
expectations=[ex1, ex2]
)
# Suite 확인
context.list_expectation_suites()
# [ExpectationSuiteIdentifier::users_df_suite]
context.list_expectation_suites()
# [ExpectationSuiteIdentifier::users_df_suite]
print(suite)
# {
# "expectation_suite_name": "users_df_suite",
# "ge_cloud_id": null,
# "expectations": [
# {
# "expectation_type": "expect_column_values_to_be_unique",
# "kwargs": {
# "column": "id"
# },
# "meta": {}
# },
# {
# "expectation_type": "expect_column_values_to_match_regex",
# "kwargs": {
# "column": "email",
# "regex": "^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\\.[a-zA-Z0-9-.]+$"
# },
# "meta": {}
# }
# ],
# "data_asset_type": null,
# "meta": {
# "great_expectations_version": "0.18.22"
# }
# }
Batch Request
Batch Request 는 검증할 데이터의 단위를 정의합니다.
import pandas as pd
from great_expectations.core.batch import RuntimeBatchRequest
target_df = pd.read_csv("./data/users.csv")
data_asset_name = "users_info_asset" # 검증 대상의 이름
batch_request = RuntimeBatchRequest(
datasource_name="sample_data",
data_connector_name="default_runtime_data_connector_name",
data_asset_name=data_asset_name,
runtime_parameters={"batch_data": target_df}, # 실행 시점에 불러온 DataFrame
batch_identifiers={
"default_identifier_name": "default_id" # "default_id"를 식별자로 사용
},
)
- data_asset_name: 데이터가 “무엇”인지 정의합니다 (예: users)
- batch_identifiers: 현재 배치의 구체적인 특성을 정의합니다 (예: 2024–01–01에 적재된 사용자 데이터)
Checkpoint
Checkpoint 를 정의하면 어떤
BatchRequest를 어떤ExpectationSuite로 검증할지 묶고, 이후 수행할 Action(문서 갱신, 알림 전송 등)을 정할 수 있습니다.
checkpoint_name = "sample_checkpoint"
checkpoint = context.add_or_update_checkpoint(
name=checkpoint_name,
validations=[ # 여러 Suite를 적용할 수 있습니다
{
"expectation_suite_name": suite_name,
}
],
action_list=[
{
"name": "store_validation_result",
"action": {"class_name": "StoreValidationResultAction"},
},
{
"name": "update_data_docs",
"action": {"class_name": "UpdateDataDocsAction"},
},
],
)
# Checkpoint 실행
checkpoint.run(
run_name="sample_checkpoint_at_2026_04_18",
batch_request=batch_request,
)
결과 (Data Docs)
결과는 HTML로 렌더링되어, 검증 결과를 보기 쉬운 화면으로 확인할 수 있습니다.



앞에서 정의한 CSV에서 잘못된 이메일 형식(anna_google.com)과 중복된 사용자 ID(Non-Unique ID: 1)를 정확히 잡아내는 것을 확인할 수 있습니다.