Airflow 스케줄링과 Execution Date 동작 원리
6분 소요

Airflow 스케줄링의 Execution Date(2.2 이후 Logical, Data Interval)를 사용할 때 헷갈리는 부분을 정리합니다. Airflow: 2.9.1
용어 정리
Airflow에는 스케줄링을 위한 여러 가지 날짜 개념이 존재하며, 대표적으로 start_date, end_date, execution_date 등이 있습니다.
Airflow에서는 일반적으로 이해하는 실행 날짜에 대한 개념과 조금 다른 의미를 가집니다.
start_date
job을 처음 예약하는 시간
start_date가 미래일 경우 Airflow DAG가 실행되지 않습니다.
end_date
마지막 job이 예약되는 시간
execution_date
execution_date는 그 이름과는 다르게, Task가 실제로 실행되는 시간이 아니라 해당 Task가 실행하고자 하는 Time Window의 시작 지점 을 의미합니다.
Execution Date 동작 방식
from datetime import datetime
from airflow import DAG
with DAG(
dag_id="execution_date_example",
start_date=datetime(2025, 11, 1),
end_date=datetime(2025, 11, 10),
catchup=False,
schedule="0 2 * * *",
) as dag:
즉 start_date가 2025-11-01이며 매일 오전 2시에 실행되는 작업이 있다면, execution_date가 2025-11-01T02:00:00인 DAG는 2025-11-02T02:00:00에 실행됩니다.
| DAG가 예약된 시간 (schedule) | DAG가 실제로 실행된 시간 | Execution Date |
|---|---|---|
| 2025-11-01 02:00:00 | 2025-11-02 02:00:00 | 2025-11-01 02:00:00 |
| 2025-11-02 02:00:00 | 2025-11-03 02:00:00 | 2025-11-02 02:00:00 |
| 2025-11-03 02:00:00 | 2025-11-04 02:00:00 | 2025-11-03 02:00:00 |
| 2025-11-04 02:00:00 | 2025-11-05 02:00:00 | 2025-11-04 02:00:00 |
| 2025-11-05 02:00:00 | 2025-11-06 02:00:00 | 2025-11-05 02:00:00 |
| 2025-11-06 02:00:00 | 2025-11-07 02:00:00 | 2025-11-06 02:00:00 |
| 2025-11-07 02:00:00 | 2025-11-08 02:00:00 | 2025-11-07 02:00:00 |
| 2025-11-08 02:00:00 | 2025-11-09 02:00:00 | 2025-11-08 02:00:00 |
| 2025-11-09 02:00:00 | 2025-11-10 02:00:00 | 2025-11-09 02:00:00 |
| 2025-11-10 02:00:00 | 2025-11-11 02:00:00 | 2025-11-10 02:00:00 |

start_date + schedule_interval(1 Day)
전통적인 배치 데이터 처리 방식은 작업의 대상이 되는 데이터의 기간이 있고, 그 대상 기간이 지나고 나서 해당 기간에 발생한 데이터를 처리하게 됩니다.
그렇기 때문에 위 그림으로 보면 25-04-09T02:00:00 ~ 25-04-10T02:00:00까지 생성된 데이터를 execution_date(25-04-09T02:00:00)를 기준으로 처리합니다.
Backfill 또는 Manual로 실행된 DAG에서 Execution Date 동작 방식
직접 실행한 (
airflow dags trigger,airflow dags backfill) 경우에는 execution_date가 기존에 설명한 방식과는 조금 다르게 동작합니다.
위에서 설명한 것처럼 Time Window 개념을 그대로 적용하여 동작할 줄 알았습니다.
Q: 2025-11-01T02:00:00을 execution_date로 가지는 DAG를 실행하려면 어떻게 해야 할까?
airflow dags trigger <dag_id> --exec-date <?>
2025-11-01T02:00:002025-11-02T02:00:00
정답은 1번이며, 직접 날짜를 지정(--exec-date)할 경우 기존 방식처럼 하나 앞의 datetime을 사용하는 것이 아니라 직접 지정한 값을 사용합니다.
$ airflow dags trigger execution_date_example --exec-date 2025-11-01T02:00:00
# [2025-11-04T09:55:41.391+0000] {__init__.py:43} INFO - Loaded API auth backend: airflow.api.auth.backend.basic_auth
# [2025-11-04T09:55:41.392+0000] {__init__.py:43} INFO - Loaded API auth backend: airflow.api.auth.backend.session
# | | | data_interval_ | data_interval_ | | external_trigg | last_schedulin | | | |
# conf | dag_id | dag_run_id | start | end | end_date | er | g_decision | logical_date | run_type | start_date | state
# =====+================+================+================+================+==========+================+================+===============+==========+============+=======
# {} | execution_date | manual__2025-1 | 2025-10-31 | 2025-11-01 | None | True | None | 2025-11-01 | manual | None | queued
# | _example | 1-01T02:00:00+ | 02:00:00+00:00 | 02:00:00+00:00 | | | | 02:00:00+00:0 | | |
# | | 00:00 | | | | | | 0 | | |
logical_date(execution_date): 2025-11-01T02:00:00
Backfill에서 execution_date가 설정되는 기준
airflow dags backfill <dag_id> -s <date> -e <date>
-s <date>: Backfill 대상인 execution_date의 시작일-e <date>: Backfill 대상인 execution_date의 종료일
여기서도 trigger 명령어와 동일하게 지정한 날짜를 execution_date로 사용합니다.
Backfill 기간 지정 시 주의사항
만약 매일 2시에 실행되는 DAG를
airflow dags backfill <dag_id> -s 2025-11-01 -e 2025-11-03명령어로 Backfill할 경우 다음과 같은 Backfill 작업이 실행됩니다.
참고로 시간을 지정하지 않으면 모두 00으로 채워집니다.
2025-11-01T00:00:00 ~ 2025-11-03T00:00:00사이의 execution_date를 찾음 →[2025-11-01T02:00:00, 2025-11-02T02:00:00]- 해당 날짜를 execution_date로 가지는 DAG들이 Backfill 됩니다.
from datetime import datetime
from airflow import DAG
from airflow.operators.python import PythonOperator
with DAG(
dag_id="execution_date_example",
start_date=datetime(2025, 11, 1),
end_date=datetime(2025, 11, 10),
catchup=False,
schedule="0 2 * * *",
) as dag:
execution_task = PythonOperator(
task_id='print_execution_date',
python_callable=lambda **kwargs: print(f"""
Now DateTime is: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}
Execution date is: {kwargs['ti'].execution_date}"""),
)
$ airflow dags backfill execution_date_example -s 2025-11-01 -e 2025-11-03
[2025-11-04T09:57:00.237+0000] {dagbag.py:545} INFO - Filling up the DagBag from /opt/airflow/dags
[2025-11-04T09:57:00.637+0000] {executor_loader.py:235} INFO - Loaded executor: CeleryExecutor
... INFO - [backfill progress] | finished run 0 of 2 | ...
...
... INFO - execution_date=2025-11-02 02:00:00+00:00, run_id=backfill__2025-11-02T02:00:00+00:00, run_start_date=2025-11-04 09:57:00.679021+00:00, run_end_date=2025-11-04 09:57:10.658985+00:00, run_duration=9.979964, state=success, external_trigger=False, run_type=backfill, data_interval_start=2025-11-02 02:00:00+00:00, data_interval_end=2025-11-03 02:00:00+00:00, dag_hash=None
...
... INFO - execution_date=2025-11-01 02:00:00+00:00, run_id=manual__2025-11-01T02:00:00+00:00, run_start_date=2025-11-04 09:57:00.671024+00:00, run_end_date=2025-11-04 09:57:10.660169+00:00, run_duration=9.989145, state=success, external_trigger=True, run_type=backfill, data_interval_start=2025-10-31 02:00:00+00:00, data_interval_end=2025-11-01 02:00:00+00:00, dag_hash=709734cea349e98cdc2be5c5df0d25bd
... INFO - [backfill progress] | finished run 2 of 2 | ...
Clear Task로 실행한 Task
Web UI에서 직접 DAG 실행 시 실행한 시간을 execution_date로 가지며, 이때 clear_task를 통해 재실행하더라도 이전에 지정된 execution_date로 재실행됩니다.
Logical Date, data_interval_start, data_interval_end
Airflow 2.2 버전 이후부터
execution_date대신에logical_date, date_interval_start, date_interval_end로 변경됨에 따라 위 내용이 어떻게 동작하는지 설명합니다.
- logical_date: execution_date와 동일한 값이며, 위와 동일하게 동작합니다.
- date_interval_start: interval의 시작 시점입니다.
- date_interval_end: interval의 종료 시점입니다.
동작 방식
위와 같이 manual 및 backfill 작업에서 logical_date는 동일한 방식으로 동작합니다. 그럼 date_interval_start, end는 어떻게 설정되는지 알아보겠습니다.
with DAG(
dag_id="best_practices_example_dag",
start_date=datetime(2024, 1, 1),
schedule="0 11 * * *", # 매일 11시에 작동하는 DAG
catchup=False,
) as dag:
위에서 설명한 개념을 이해하면 쉽게 이해할 수 있습니다.
manual_trigger: 2025-11-09 10:56:50: 09일 11시 전의 trigger 아직 11-09일 11시 데이터가 모두 끝나지 않은 시점이기 때문에 다음과 같이 start, end가 설정됩니다.- start:
2025-11-07 11:00:00+00:00 - end:
2025-11-08 11:00:00+00:00
- start:
manual_trigger: 2025-11-09 11:01:50: 09일 11시 이후의 trigger 이 경우 11월 9일 11시 데이터가 모두 끝난 시점이기 때문에 다음과 같이 start, end가 설정됩니다.- start:
2025-11-08 11:00:00+00:00 - end:
2025-11-09 11:00:00+00:00
- start:
Airflow 3.x
Airflow 3.x 이상부터는
create_cron_data_intervals을True로 설정해야 위와 같이 동작합니다.
# airflow.cfg
...
create_cron_data_intervals = True
...
결론
스케줄링된 작업은 Time Window를 기반으로 해당 Time Window가 시작되는 지점을 execution_date로 가지는 DAG을 해당 Time Window가 끝나는 지점에 실행하며, trigger, Web UI에서 실행, Backfill로 실행되는 DAG는 지정한 시간을 execution_date로 사용하는 DAG를 실행합니다.