Python의 List와 Generator: for 문에서 둘 다 되는데 왜 Generator를 쓸까?
4분 소요
Python을 어느 정도 써 보셨다면, for 문에서 List와 Generator를 거의 구분 없이 쓸 수 있다는 것을 눈치채셨을 것입니다.
예를 들어 다음 두 코드는 거의 똑같아 보입니다.
# Using a list
nums = [i for i in range(10)]
for n in nums:
print(n)
# Using a generator
nums_gen = (i for i in range(10))
for n in nums_gen:
print(n)
둘 다 0부터 9까지 출력합니다. 그렇다면 왜 굳이 Generator를 쓰는 걸까요? 그 답은 메모리 효율성, 평가 전략, 그리고 실제 사용 사례에 있습니다. 자세히 살펴보겠습니다.
List와 Generator의 근본적인 차이
List
- 모든 값을 한 번에 메모리에 저장합니다.
- 예:
[i for i in range(1_000_000)]→ 100만 개의 숫자를 위한 메모리를 즉시 할당합니다. - 장점: 임의 접근이 가능합니다 (
nums[500]이 동작합니다). - 단점: 큰 데이터셋은 막대한 메모리를 차지할 수 있습니다.
Generator
- 값을 필요할 때마다 하나씩 생성합니다 (지연 평가, lazy evaluation).
- 예:
(i for i in range(1_000_000))→ 아무것도 저장하지 않고, 필요할 때 값을 만들어 냅니다. - 장점: 메모리 효율이 매우 높고, 무한 스트림도 다룰 수 있습니다.
- 단점: 임의 접근이 불가능합니다 (
nums_gen[500]은 에러가 발생합니다).
메모리 사용량 비교
가장 뚜렷한 차이 중 하나는 메모리 소비량입니다.
import sys
nums_list = [i for i in range(1_000_000)]
nums_gen = (i for i in range(1_000_000))
print("List size:", sys.getsizeof(nums_list))
print("Generator size:", sys.getsizeof(nums_gen))
출력 예시:
List size: 8697464
Generator size: 112
- List는 100만 개의 숫자에 약 8.7MB를 사용합니다.
- Generator는 데이터셋 크기와 상관없이 항상 작은 크기(112바이트)입니다.
이를 통해 Generator는 메모리에 부담을 주지 않고도 방대한 데이터셋을 처리할 수 있음을 알 수 있습니다.
평가 전략: Eager vs Lazy
- List: 모든 값을 즉시 계산해서 저장합니다 (즉시 평가, eager evaluation).
- Generator: 값을 요청받을 때만 생성합니다 (지연 평가, lazy evaluation).
이 차이 때문에 Generator는 무한 시퀀스에서 특히 강력합니다.
def infinite_numbers():
n = 0
while True:
yield n
n += 1
gen = infinite_numbers()
for n in gen:
if n > 10:
break
print(n)
출력:
0
1
2
3
4
5
6
7
8
9
10
List는 무한 시퀀스를 표현할 수 없지만, Generator는 가능합니다.
실제 사용 사례
1. 대용량 로그 파일 처리
데이터 엔지니어링에서 로그는 종종 수 GB에 달합니다. 이를 List에 담으면 메모리가 부족해지지만, Generator를 쓰면 한 줄씩 처리할 수 있습니다.
def read_logs(file_path):
with open(file_path, "r") as f:
for line in f:
yield line.strip()
for log in read_logs("access.log"):
if "ERROR" in log:
print(log)
이 방식은 파일 전체를 메모리에 올리지 않습니다.
2. 스트리밍 데이터 (Kafka, 소켓 등)
스트리밍 데이터는 끝이 정해져 있지 않습니다. List로는 다룰 수 없지만, Generator는 잘 맞습니다.
import time
def stream_data():
n = 0
while True:
yield f"message {n}"
n += 1
time.sleep(1) # simulate data arrival every second
for msg in stream_data():
print(msg)
if "5" in msg:
break
출력:
message 0
message 1
message 2
message 3
message 4
message 5
이 패턴은 Kafka 컨슈머와 같은 많은 실시간 데이터 소비자의 기반이 됩니다.
3. 데이터 변환 파이프라인
Generator를 쓰면 중간 저장소 없이 데이터 파이프라인을 쉽게 만들 수 있습니다.
def numbers():
for i in range(10):
yield i
def squared(seq):
for num in seq:
yield num ** 2
def even_only(seq):
for num in seq:
if num % 2 == 0:
yield num
pipeline = even_only(squared(numbers()))
for val in pipeline:
print(val)
출력:
0
4
16
36
64
각 단계가 값을 지연 방식으로 처리하므로 큰 중간 List를 만들지 않습니다.
List가 더 나은 경우 (제 생각에는)
Generator가 항상 정답은 아닙니다. 다음과 같은 경우에는 List가 더 낫습니다.
- 임의 접근이 필요한 경우
nums[100]은 List에서는 되지만 Generator에서는 안 됩니다.
- 여러 번 순회해야 하는 경우
- Generator는 한 번 순회하면 소진되지만, List는 재사용할 수 있습니다.
- 데이터셋이 메모리에 충분히 들어갈 만큼 작은 경우
- 빠르게 접근하기에는 List가 더 편리한 경우가 많습니다.
정리
- List: 모든 것을 메모리에 저장 → 빠른 임의 접근, 높은 메모리 사용량.
- Generator: 필요할 때 항목을 생성 → 메모리 효율적, 스트림과 파이프라인에 적합.
Generator를 쓰면 좋은 경우
- 대용량 또는 무한 데이터셋
- 스트림 처리 (로그, Kafka, 소켓)
- 변환 파이프라인
List를 쓰면 좋은 경우
- 임의 접근
- 데이터셋 재사용
- 소규모 데이터
이처럼 for 문에서는 List와 Generator가 서로 바꿔 쓸 수 있는 것처럼 보이지만, 평가 전략과 메모리 사용량에서 근본적으로 다릅니다.
각각을 언제 써야 하는지 알면 Python 코드를 정확할 뿐 아니라 확장 가능하고 효율적으로 만들 수 있습니다.