Delta Lake with Polars: 파일 시스템에서 버저닝과 ACID 다루기
7분 소요

오늘은 Delta Lake가 어떻게 동작하는지, 그리고 주요 장점은 무엇인지 알아보겠습니다. 또한 Polars를 사용해 로컬 환경에서 Delta 파일을 관리하는 방법도 단계별로 살펴보겠습니다.
Delta Lake 이전 기존 시스템의 단점
1. ACID 트랜잭션의 부재
Parquet나 CSV 같은 파일 포맷만 사용하면 쓰기 실패, 중복 쓰기, 읽기-쓰기 경합이 발생할 수 있습니다
- 추가(append) 중에 같은 파일에 여러 쓰기가 발생하면 중복 데이터가 생길 수 있습니다
- 다른 프로세스가 동시에 읽으면 일부만 쓰인(불완전한) 데이터를 읽을 위험이 있습니다
2. 스키마 진화(Schema Evolution) / 강제(Enforcement) 문제
기존 데이터 레이크는 스키마 변경과 관리에 어려움이 있었습니다
- 스키마를 변경하려면 Parquet 파일 전체를 다시 생성해야 했습니다
- 서로 다른 스키마의 파일이 섞이면 읽기 엔진이 깨졌습니다
- 추가된 컬럼을 처리하지 못하는 엔진은 실패했습니다
3. Upsert와 Delete의 어려움
기존 Parquet 기반 시스템에서는 수정 작업이 사실상 불가능했습니다. 100개 행이 있는 Parquet 파일에서 단 한 행만 바꾸려 해도 100개 행 전체를 다시 써야 했습니다
- Parquet은 immutable → 행 단위의 부분 삭제/수정 불가
- 해결책: “파일 전체를 다시 쓰기” → 매우 비효율적
- 병렬 환경에서 파일을 동시에 다시 쓰면 충돌 위험
4. 데이터 버저닝 & Time Travel 부재
Time Travel, 즉 “어제 데이터는 어땠지?”, “이전 버전으로 되돌려야 해”, “어떤 작업이 데이터를 망가뜨렸는지 추적하고 싶어”와 같은 질문을 할 수 있는 기능이 불가능했습니다
Delta Lake
Delta Lake는 스토리지 포맷이자 트랜잭션 레이어입니다. 데이터 레이크 위에 ACID 트랜잭션을 제공합니다. Parquet처럼 immutable 포맷으로 저장된 데이터의 수정(update, insert, delete)에 대해 성능상 이점과 버저닝(Time Travel) 을 제공합니다
Delta Lake 구조
.
└──── delta # Delta Lake directory
└── users # Delta Table
├── _delta_log
├── part-00000-....snappy.parquet
└── part-00000-....snappy.parquet
위와 같이 Delta Lake는 _delta_log 디렉터리 안의 JSON 파일에 트랜잭션 로그를 기록합니다. 또한 다음과 같이 구성할 수 있습니다(흔히 Medallion Architecture라고 부릅니다).
S3 / HDFS / Blob Storage
├── Raw Zone (Original source, append only)
│ └── users
│ ├── _delta_log
│ └── part-00000-....snappy.parquet
│
├── Bronze Zone (Minimal processing)
├── Silver Zone (Cleansed & normalized data)
└── Gold Zone (BI-optimized aggregates)
이제 Delta Lake가 앞서 이야기한 문제들을 어떻게 해결하는지 알아보겠습니다.
Delta Lake의 CRUD 처리 방식
1. ACID 보장 없음 → Delta의 트랜잭션 로그로 해결
Delta는
_delta_log디렉터리에 다음 내용을 기록하여 ACID를 구현합니다
기존 문제: S3/HDFS는 파일 시스템이라 원자적 쓰기, 롤백, 일관성이 없습니다
Delta Lake의 해결책:
- 각 커밋은 하나의 JSON 파일 = 1개의 트랜잭션입니다 (예:
000000000000000010.json) - 쓰기가 끝나면 커밋 파일이 원자적으로 rename됩니다. → HDFS/S3에서
rename연산은 원자적입니다 - 로그에는 파일 추가/삭제 정보, 데이터 통계 등이 포함됩니다
Spark, Polars, DuckDB 같은 읽기 엔진은 이 로그를 읽고 파일들을 조합하여 테이블의 최신 버전을 구성합니다
2. 뒤섞인 스키마, 깨진 데이터 → Schema Enforcement/Evolution
Schema Enforcement: 스키마가 일치하지 않으면 쓰기 작업이 실패합니다. Schema Evolution: 스키마 변경을 허용합니다 (예:
mergeSchema=true).
- 컬럼 추가
- 컬럼 순서가 달라도 → 자동으로 매칭
nullable속성 변경 등 지원
Delta는 파일 메타데이터를 로그에 기록하므로, 스키마가 맞지 않는 파일이 생성되는 것을 근본적으로 방지합니다
3. Update/Delete 불가 → 파일 단위 쓰기 + 논리적 삭제
Parquet은 immutable이라 행 단위 update를 지원하지 않습니다.
-
Delta의 해결책:
- 수정하거나 삭제할 행이 들어 있는 파일을 제거합니다. 이는
_delta_log에removeFile액션으로 표시됩니다. - 새 데이터를 담은 새로운 Parquet 파일을 씁니다.
→ Delta는 이 두 단계를 하나의 원자적 커밋으로 기록합니다.
- 수정하거나 삭제할 행이 들어 있는 파일을 제거합니다. 이는
“파일 단위 재작성 + 논리적 제거” 과정이 하나의 트랜잭션으로 묶입니다
4. 버저닝 없음 → Time Travel & Snapshot
Delta의 로그는 사실상 버전 이력이므로, 언제든 이전 버전으로 되돌릴 수 있습니다
5. 동시성 문제 → 낙관적 동시성 제어 (OCC)
모든 writer는 현재 버전(N)을 읽는 것으로 시작합니다. 커밋 시점에 Delta는 충돌(예: 같은 파일이 수정되었는지)을 확인하고, 작업을 거부하고 재시도하게 할 수 있습니다
Delta Lake With Polars
이제 로컬 파일을 사용해 행을 추가, 수정, 삭제하는 방법을 배우고 실제로 어떻게 동작하는지 살펴보겠습니다
$ pip install deltalake pyarrow polars
Delta Lake 읽기
일반 Parquet 파일을 읽는 것과 같은 방식으로 데이터를 읽을 수 있습니다
df = pl.read_delta("delta/users")
df_v0 = pl.read_delta("delta/users", version=0) # Time Travel
Delta Lake 파일 쓰기: Append
새로 생성된 데이터를 추가합니다
Delta Lake가 없다면, 100개 행이 있는 파일에 2개 행을 추가하려는 경우 일반적으로 102개 행이 들어 있는 새 파일 하나로 원본 파일을 덮어씁니다. 하지만 Delta Lake에서는 _delta_log를 이용해 이러한 변경 사항을 추적하고 관리할 수 있습니다
df_new_row = pl.DataFrame({
"name": ["Sumin", "Lee"],
"user_id": [6, 7],
"age": [29, 31],
"score": [88.5, 92.0],
})
df_new_row.write_delta("./delta/users", mode="append") # Append Mode
part-1.snappy.parquet, part-2.snappy.parquet 같은 새 part가 추가됩니다. 데이터를 읽을 때 두 파일이 합쳐집니다
Delta Lake 파일 수정: Overwrite
이 방식은 기존 데이터를 덮어씁니다. 테이블이 이전에 1번, 2번 파일로 구성되어 있었다면,
overwrite작업은 1번, 2번 파일을 무시하고 새로운 3번 파일만 읽습니다
filtered_df = df.filter(pl.col("age") > 30)
filtered_df.write_delta("delta/users", mode="overwrite")
- 이제
delta/users디렉터리에는part-1.snappy.parquet,part-2.snappy.parquet,part-3.snappy.parquet가 존재합니다. 이후 읽기에서는 1번, 2번 파일은 무시되고 버전 3(새 파일)만 읽습니다
이것이 Time Travel 기능을 가능하게 합니다
데이터를 삭제할 때는 Deletion Vectors를 사용하면 논리적 삭제를 통해 파일 저장소를 효율적으로 관리할 수 있습니다.
Delta Lake 파일 수정: Merge Mode
overwrite와 같은 결과를 내는 것처럼 보일 수 있지만, 소스 데이터가 파티셔닝되어 있으면 장점이 분명해집니다
overwrite는 모든 파티션에 대해 새 버전(새 파일)을 쓰는 반면, merge는 일치하는 데이터가 있는 파티션에만 새 버전을 만듭니다
df.write_delta(
"./delta/users", # target
mode="merge",
delta_merge_options={
"predicate": "target.user_id = source.user_id",
"source_alias": "source",
"target_alias": "target"
}
).action().execute()
- predicate: 병합 기준이 되는 키를 설정합니다.
user_id가 같은 행을 대상으로 합니다 - source & target: DataFrame(
df)을source라고 부릅니다 - action: 키가 일치하거나 일치하지 않는 데이터를 어떻게 처리할지 정의합니다. 여러 action 메서드를 체이닝할 수 있습니다.
new_users_df = pl.DataFrame({
"user_id": [1, 10, 4],
"name": ["Alice2", "Bob2", "Charlie2"],
"age": [30, 25, 40]
})
Merge Mode Action: when_matched_update_all()
키가 일치하는 모든 데이터를
source데이터로 업데이트합니다.
기존 테이블에서 일치하지 않는 값은 보존되지만, target에 일치하는 대상이 없는 source의 데이터는 삽입되지 않습니다
즉, target에 ID 1과 4의 사용자만 있다면 (source의) ID 10 사용자 데이터는 유실됩니다(삽입되지 않음)
new_users_df.write_delta(
"./delta/users",
mode="merge",
delta_merge_options={
"predicate": "target.user_id = source.user_id",
"source_alias": "source",
"target_alias": "target"
}
).when_matched_update_all().execute()
Merge Mode Action: when_not_matched_insert()
일치하는 ID가 없는 데이터를 새 행으로 삽입합니다.
when_matched_update_allaction과 함께 사용하면 ID 10 사용자 데이터가 유실되지 않고 추가됩니다
new_users_df.write_delta(
"./delta/users",
mode="merge",
delta_merge_options={
"predicate": "target.user_id = source.user_id",
"source_alias": "source",
"target_alias": "target"
}
).when_matched_update_all().when_not_matched_insert_all().execute()
Merge Mode Action: when_not_matched_by_source
source(
df)에 없는 target의 데이터를 수정할 수 있습니다
예를 들어, target에서 ID 1과 4가 아닌 사용자의 이름을 “Unknown”으로 변경합니다.
new_users_df.write_delta(
"./delta/users",
mode="merge",
delta_merge_options={
"predicate": "target.user_id = source.user_id",
"source_alias": "source",
"target_alias": "target"
}
).when_not_matched_by_source_update(
updates={
"name": "'Unknown'", # Must use single quotes for string literals
}
).execute()
Merge Mode 응용
요구사항: source에 없는 데이터는 이름을 “UNKNOWN”으로 업데이트하고, source 데이터는 “UPSERT”합니다 (1, 4번은 이름 변경, 10번은 추가)
(new_users_df.write_delta(
"./delta/users",
mode="merge",
delta_merge_options={
"predicate": "target.user_id = source.user_id",
"source_alias": "source",
"target_alias": "target"
}
).when_not_matched_by_source_update(
updates={
"name": "'Unknown'",
}
).when_not_matched_insert_all()
.when_matched_update_all().execute()
)
when_not_matched_by_source_update: source에 없는 데이터의 이름을 변경합니다when_not_matched_insert_all: target에 없는 데이터(예: ID 10)를 삽입합니다when_matched_update_all(): ID가 일치하는 데이터(예: ID 1, 4)를 source의 데이터로 업데이트합니다