seon99il

Python

Python의 List와 Generator: for 문에서 둘 다 되는데 왜 Generator를 쓸까?

4분 소요

Python을 어느 정도 써 보셨다면, for 문에서 List와 Generator를 거의 구분 없이 쓸 수 있다는 것을 눈치채셨을 것입니다.

예를 들어 다음 두 코드는 거의 똑같아 보입니다.

# Using a list
nums = [i for i in range(10)]
for n in nums:
    print(n)

# Using a generator
nums_gen = (i for i in range(10))
for n in nums_gen:
    print(n)

둘 다 0부터 9까지 출력합니다. 그렇다면 왜 굳이 Generator를 쓰는 걸까요? 그 답은 메모리 효율성, 평가 전략, 그리고 실제 사용 사례에 있습니다. 자세히 살펴보겠습니다.

List와 Generator의 근본적인 차이

List

  • 모든 값을 한 번에 메모리에 저장합니다.
  • 예: [i for i in range(1_000_000)] → 100만 개의 숫자를 위한 메모리를 즉시 할당합니다.
  • 장점: 임의 접근이 가능합니다 (nums[500]이 동작합니다).
  • 단점: 큰 데이터셋은 막대한 메모리를 차지할 수 있습니다.

Generator

  • 값을 필요할 때마다 하나씩 생성합니다 (지연 평가, lazy evaluation).
  • 예: (i for i in range(1_000_000)) → 아무것도 저장하지 않고, 필요할 때 값을 만들어 냅니다.
  • 장점: 메모리 효율이 매우 높고, 무한 스트림도 다룰 수 있습니다.
  • 단점: 임의 접근이 불가능합니다 (nums_gen[500]은 에러가 발생합니다).

메모리 사용량 비교

가장 뚜렷한 차이 중 하나는 메모리 소비량입니다.

import sys

nums_list = [i for i in range(1_000_000)]
nums_gen = (i for i in range(1_000_000))
print("List size:", sys.getsizeof(nums_list))
print("Generator size:", sys.getsizeof(nums_gen))

출력 예시:

List size: 8697464
Generator size: 112
  • List는 100만 개의 숫자에 약 8.7MB를 사용합니다.
  • Generator는 데이터셋 크기와 상관없이 항상 작은 크기(112바이트)입니다.

이를 통해 Generator는 메모리에 부담을 주지 않고도 방대한 데이터셋을 처리할 수 있음을 알 수 있습니다.

평가 전략: Eager vs Lazy

  • List: 모든 값을 즉시 계산해서 저장합니다 (즉시 평가, eager evaluation).
  • Generator: 값을 요청받을 때만 생성합니다 (지연 평가, lazy evaluation).

이 차이 때문에 Generator는 무한 시퀀스에서 특히 강력합니다.

def infinite_numbers():
    n = 0
    while True:
        yield n
        n += 1

gen = infinite_numbers()
for n in gen:
    if n > 10:
        break
    print(n)

출력:

0
1
2
3
4
5
6
7
8
9
10

List는 무한 시퀀스를 표현할 수 없지만, Generator는 가능합니다.

실제 사용 사례

1. 대용량 로그 파일 처리

데이터 엔지니어링에서 로그는 종종 수 GB에 달합니다. 이를 List에 담으면 메모리가 부족해지지만, Generator를 쓰면 한 줄씩 처리할 수 있습니다.

def read_logs(file_path):
    with open(file_path, "r") as f:
        for line in f:
            yield line.strip()

for log in read_logs("access.log"):
    if "ERROR" in log:
        print(log)

이 방식은 파일 전체를 메모리에 올리지 않습니다.

2. 스트리밍 데이터 (Kafka, 소켓 등)

스트리밍 데이터는 끝이 정해져 있지 않습니다. List로는 다룰 수 없지만, Generator는 잘 맞습니다.

import time

def stream_data():
    n = 0
    while True:
        yield f"message {n}"
        n += 1
        time.sleep(1)  # simulate data arrival every second

for msg in stream_data():
    print(msg)
    if "5" in msg:
        break

출력:

message 0
message 1
message 2
message 3
message 4
message 5

이 패턴은 Kafka 컨슈머와 같은 많은 실시간 데이터 소비자의 기반이 됩니다.

3. 데이터 변환 파이프라인

Generator를 쓰면 중간 저장소 없이 데이터 파이프라인을 쉽게 만들 수 있습니다.

def numbers():
    for i in range(10):
        yield i

def squared(seq):
    for num in seq:
        yield num ** 2

def even_only(seq):
    for num in seq:
        if num % 2 == 0:
            yield num

pipeline = even_only(squared(numbers()))
for val in pipeline:
    print(val)

출력:

0
4
16
36
64

각 단계가 값을 지연 방식으로 처리하므로 큰 중간 List를 만들지 않습니다.

List가 더 나은 경우 (제 생각에는)

Generator가 항상 정답은 아닙니다. 다음과 같은 경우에는 List가 더 낫습니다.

  1. 임의 접근이 필요한 경우
    • nums[100]은 List에서는 되지만 Generator에서는 안 됩니다.
  2. 여러 번 순회해야 하는 경우
    • Generator는 한 번 순회하면 소진되지만, List는 재사용할 수 있습니다.
  3. 데이터셋이 메모리에 충분히 들어갈 만큼 작은 경우
    • 빠르게 접근하기에는 List가 더 편리한 경우가 많습니다.

정리

  • List: 모든 것을 메모리에 저장 → 빠른 임의 접근, 높은 메모리 사용량.
  • Generator: 필요할 때 항목을 생성 → 메모리 효율적, 스트림과 파이프라인에 적합.

Generator를 쓰면 좋은 경우

  • 대용량 또는 무한 데이터셋
  • 스트림 처리 (로그, Kafka, 소켓)
  • 변환 파이프라인

List를 쓰면 좋은 경우

  • 임의 접근
  • 데이터셋 재사용
  • 소규모 데이터

이처럼 for 문에서는 List와 Generator가 서로 바꿔 쓸 수 있는 것처럼 보이지만, 평가 전략과 메모리 사용량에서 근본적으로 다릅니다.

각각을 언제 써야 하는지 알면 Python 코드를 정확할 뿐 아니라 확장 가능하고 효율적으로 만들 수 있습니다.

이전 글

전체 글 보기 →

댓글