seon99il

Data Engineering

Airflow 스케줄링과 Execution Date 동작 원리

6분 소요

Airflow 스케줄링의 Execution Date(2.2 이후 Logical, Data Interval)를 사용할 때 헷갈리는 부분을 정리합니다. Airflow: 2.9.1

용어 정리

Airflow에는 스케줄링을 위한 여러 가지 날짜 개념이 존재하며, 대표적으로 start_date, end_date, execution_date 등이 있습니다.

Airflow에서는 일반적으로 이해하는 실행 날짜에 대한 개념과 조금 다른 의미를 가집니다.

start_date

job을 처음 예약하는 시간

start_date가 미래일 경우 Airflow DAG가 실행되지 않습니다.

end_date

마지막 job이 예약되는 시간

execution_date

execution_date는 그 이름과는 다르게, Task가 실제로 실행되는 시간이 아니라 해당 Task가 실행하고자 하는 Time Window의 시작 지점 을 의미합니다.

Execution Date 동작 방식

from datetime import datetime

from airflow import DAG

with DAG(
    dag_id="execution_date_example",
    start_date=datetime(2025, 11, 1),
    end_date=datetime(2025, 11, 10),
    catchup=False,
    schedule="0 2 * * *",
) as dag:

즉 start_date가 2025-11-01이며 매일 오전 2시에 실행되는 작업이 있다면, execution_date가 2025-11-01T02:00:00인 DAG는 2025-11-02T02:00:00에 실행됩니다.

DAG가 예약된 시간 (schedule)DAG가 실제로 실행된 시간Execution Date
2025-11-01 02:00:002025-11-02 02:00:002025-11-01 02:00:00
2025-11-02 02:00:002025-11-03 02:00:002025-11-02 02:00:00
2025-11-03 02:00:002025-11-04 02:00:002025-11-03 02:00:00
2025-11-04 02:00:002025-11-05 02:00:002025-11-04 02:00:00
2025-11-05 02:00:002025-11-06 02:00:002025-11-05 02:00:00
2025-11-06 02:00:002025-11-07 02:00:002025-11-06 02:00:00
2025-11-07 02:00:002025-11-08 02:00:002025-11-07 02:00:00
2025-11-08 02:00:002025-11-09 02:00:002025-11-08 02:00:00
2025-11-09 02:00:002025-11-10 02:00:002025-11-09 02:00:00
2025-11-10 02:00:002025-11-11 02:00:002025-11-10 02:00:00

start_date + schedule_interval(1 Day)

전통적인 배치 데이터 처리 방식은 작업의 대상이 되는 데이터의 기간이 있고, 그 대상 기간이 지나고 나서 해당 기간에 발생한 데이터를 처리하게 됩니다.

그렇기 때문에 위 그림으로 보면 25-04-09T02:00:00 ~ 25-04-10T02:00:00까지 생성된 데이터를 execution_date(25-04-09T02:00:00)를 기준으로 처리합니다.

Backfill 또는 Manual로 실행된 DAG에서 Execution Date 동작 방식

직접 실행한 (airflow dags trigger, airflow dags backfill) 경우에는 execution_date가 기존에 설명한 방식과는 조금 다르게 동작합니다.

위에서 설명한 것처럼 Time Window 개념을 그대로 적용하여 동작할 줄 알았습니다.

Q: 2025-11-01T02:00:00을 execution_date로 가지는 DAG를 실행하려면 어떻게 해야 할까?

airflow dags trigger <dag_id> --exec-date <?>

  1. 2025-11-01T02:00:00
  2. 2025-11-02T02:00:00

정답은 1번이며, 직접 날짜를 지정(--exec-date)할 경우 기존 방식처럼 하나 앞의 datetime을 사용하는 것이 아니라 직접 지정한 값을 사용합니다.

$ airflow dags trigger execution_date_example --exec-date 2025-11-01T02:00:00

# [2025-11-04T09:55:41.391+0000] {__init__.py:43} INFO - Loaded API auth backend: airflow.api.auth.backend.basic_auth
# [2025-11-04T09:55:41.392+0000] {__init__.py:43} INFO - Loaded API auth backend: airflow.api.auth.backend.session
#      |                |                | data_interval_ | data_interval_ |          | external_trigg | last_schedulin |               |          |            |
# conf | dag_id         | dag_run_id     | start          | end            | end_date | er             | g_decision     | logical_date  | run_type | start_date | state
# =====+================+================+================+================+==========+================+================+===============+==========+============+=======
# {}   | execution_date | manual__2025-1 | 2025-10-31     | 2025-11-01     | None     | True           | None           | 2025-11-01    | manual   | None       | queued
#      | _example       | 1-01T02:00:00+ | 02:00:00+00:00 | 02:00:00+00:00 |          |                |                | 02:00:00+00:0 |          |            |
#      |                | 00:00          |                |                |          |                |                | 0             |          |            |

logical_date(execution_date): 2025-11-01T02:00:00

Backfill에서 execution_date가 설정되는 기준

airflow dags backfill <dag_id> -s <date> -e <date>

  • -s <date>: Backfill 대상인 execution_date의 시작일
  • -e <date>: Backfill 대상인 execution_date의 종료일

여기서도 trigger 명령어와 동일하게 지정한 날짜를 execution_date로 사용합니다.

Backfill 기간 지정 시 주의사항

만약 매일 2시에 실행되는 DAG를 airflow dags backfill <dag_id> -s 2025-11-01 -e 2025-11-03 명령어로 Backfill할 경우 다음과 같은 Backfill 작업이 실행됩니다.

참고로 시간을 지정하지 않으면 모두 00으로 채워집니다.

  1. 2025-11-01T00:00:00 ~ 2025-11-03T00:00:00 사이의 execution_date를 찾음 → [2025-11-01T02:00:00, 2025-11-02T02:00:00]
  2. 해당 날짜를 execution_date로 가지는 DAG들이 Backfill 됩니다.
from datetime import datetime

from airflow import DAG
from airflow.operators.python import PythonOperator

with DAG(
    dag_id="execution_date_example",
    start_date=datetime(2025, 11, 1),
    end_date=datetime(2025, 11, 10),
    catchup=False,
    schedule="0 2 * * *",
) as dag:

    execution_task = PythonOperator(
        task_id='print_execution_date',
        python_callable=lambda **kwargs: print(f"""
        Now DateTime is: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}
        Execution date is: {kwargs['ti'].execution_date}"""),
    )
$ airflow dags backfill execution_date_example -s 2025-11-01 -e 2025-11-03
[2025-11-04T09:57:00.237+0000] {dagbag.py:545} INFO - Filling up the DagBag from /opt/airflow/dags
[2025-11-04T09:57:00.637+0000] {executor_loader.py:235} INFO - Loaded executor: CeleryExecutor
... INFO - [backfill progress] | finished run 0 of 2 | ...
...
... INFO - execution_date=2025-11-02 02:00:00+00:00, run_id=backfill__2025-11-02T02:00:00+00:00, run_start_date=2025-11-04 09:57:00.679021+00:00, run_end_date=2025-11-04 09:57:10.658985+00:00, run_duration=9.979964, state=success, external_trigger=False, run_type=backfill, data_interval_start=2025-11-02 02:00:00+00:00, data_interval_end=2025-11-03 02:00:00+00:00, dag_hash=None
...
... INFO - execution_date=2025-11-01 02:00:00+00:00, run_id=manual__2025-11-01T02:00:00+00:00, run_start_date=2025-11-04 09:57:00.671024+00:00, run_end_date=2025-11-04 09:57:10.660169+00:00, run_duration=9.989145, state=success, external_trigger=True, run_type=backfill, data_interval_start=2025-10-31 02:00:00+00:00, data_interval_end=2025-11-01 02:00:00+00:00, dag_hash=709734cea349e98cdc2be5c5df0d25bd
... INFO - [backfill progress] | finished run 2 of 2 | ...

Clear Task로 실행한 Task

Web UI에서 직접 DAG 실행 시 실행한 시간을 execution_date로 가지며, 이때 clear_task를 통해 재실행하더라도 이전에 지정된 execution_date로 재실행됩니다.

Logical Date, data_interval_start, data_interval_end

Airflow 2.2 버전 이후부터 execution_date 대신에 logical_date, date_interval_start, date_interval_end로 변경됨에 따라 위 내용이 어떻게 동작하는지 설명합니다.

  • logical_date: execution_date와 동일한 값이며, 위와 동일하게 동작합니다.
  • date_interval_start: interval의 시작 시점입니다.
  • date_interval_end: interval의 종료 시점입니다.

동작 방식

위와 같이 manual 및 backfill 작업에서 logical_date는 동일한 방식으로 동작합니다. 그럼 date_interval_start, end는 어떻게 설정되는지 알아보겠습니다.

with DAG(
    dag_id="best_practices_example_dag",
    start_date=datetime(2024, 1, 1),
    schedule="0 11 * * *", # 매일 11시에 작동하는 DAG
    catchup=False,
) as dag:

위에서 설명한 개념을 이해하면 쉽게 이해할 수 있습니다.

  • manual_trigger: 2025-11-09 10:56:50: 09일 11시 전의 trigger 아직 11-09일 11시 데이터가 모두 끝나지 않은 시점이기 때문에 다음과 같이 start, end가 설정됩니다.
    • start: 2025-11-07 11:00:00+00:00
    • end: 2025-11-08 11:00:00+00:00
  • manual_trigger: 2025-11-09 11:01:50: 09일 11시 이후의 trigger 이 경우 11월 9일 11시 데이터가 모두 끝난 시점이기 때문에 다음과 같이 start, end가 설정됩니다.
    • start: 2025-11-08 11:00:00+00:00
    • end: 2025-11-09 11:00:00+00:00

Airflow 3.x

Airflow 3.x 이상부터는 create_cron_data_intervals을 True로 설정해야 위와 같이 동작합니다.

# airflow.cfg

...

create_cron_data_intervals = True

...

결론

스케줄링된 작업은 Time Window를 기반으로 해당 Time Window가 시작되는 지점을 execution_date로 가지는 DAG을 해당 Time Window가 끝나는 지점에 실행하며, trigger, Web UI에서 실행, Backfill로 실행되는 DAG는 지정한 시간을 execution_date로 사용하는 DAG를 실행합니다.

이전 글

전체 글 보기 →

댓글