Airflow TriggerRule & Watcher Pattern
5분 소요

이번 글에서는 헷갈렸던
Trigger_Rule에 대해서 정리하며, 여기서 마주친 문제를 Watcher Pattern을 사용하여 해결하는 방법에 대해서 설명하겠습니다. Airflow: 2.9.1
Trigger Rule
Airflow에는 다음과 같은 Trigger_rule이 존재합니다.
# trigger_rule.py
ALL_SUCCESS = "all_success"
ALL_FAILED = "all_failed"
ALL_DONE = "all_done"
ALL_DONE_SETUP_SUCCESS = "all_done_setup_success"
ONE_SUCCESS = "one_success"
ONE_FAILED = "one_failed"
ONE_DONE = "one_done"
NONE_FAILED = "none_failed"
NONE_FAILED_OR_SKIPPED = "none_failed_or_skipped"
NONE_SKIPPED = "none_skipped"
DUMMY = "dummy"
ALWAYS = "always"
NONE_FAILED_MIN_ONE_SUCCESS = "none_failed_min_one_success"
ALL_SKIPPED = "all_skipped"
Trigger_rule: ONE_FAILED
Upstream Task 중 최소 하나라도 실패했을 때 실행합니다.
def fail():
raise AirflowException("This is a failure task")
def succeed():
print("This is a success task")
with DAG(
dag_id='example_dag',
start_date=datetime.datetime(2021, 1, 1),
schedule_interval="@once",
catchup=False,
) as dag:
task1 = PythonOperator(
task_id='task1',
python_callable=fail
)
task2 = PythonOperator(
task_id='task2',
python_callable=succeed,
trigger_rule=TriggerRule.ONE_FAILED
)
task1 >> task2
이렇게 task가 구현되어 있다면, task1은 실패하고 그에 따라 task2가 실행되며(trigger_rule=TriggerRule.ONE_FAILED) task2는 성공합니다.

Result
Trigger_rule: 트리거 규칙은 어떤 Task를 대상으로 동작하는가?
여기서 그럼 Task3을 다음과 같이 추가해보겠습니다.
...
task3 = PythonOperator(
task_id='task3',
python_callable=succeed,
trigger_rule=TriggerRule.ONE_FAILED
)
task1 >> task2 >> task3
- 위 코드와 동일하게 task1은 실패, task2는
Trigger_rule.ONE_FAILED
Q: Task3은 실행될까요?

Result
정답은 task3은 스킵됩니다. 그 이유는 다음과 같은데요,
즉 task3의 직접적인 upstream(parent)에 task1이 없기 때문에 Trigger_Rule 이 동작하지 않습니다.
참고로 Task2의 trigger_rule이 ONE_FAILED이기 때문에 다음과 같이 조금 이상한 결과가 나옵니다. 만약 기본값인 ALL_SUCCESS 일 경우 Task1의 실패가 Task2에 전파되며(upstream_failed) task3은 정상적으로 ONE_FAILED 로 Trigger 됩니다.
Trigger_rule: Task3에 Task1 FAILED 상태 전파시키기
그럼 어떻게 하면 Task1의 FAILED 상태를 task3에 전파시키면서 task1, task2, task3의 순차를 보장할 수 있을까요?
여러 가지 방법이 있지만 task1을 task3의 직접적인 upstream(direct upstream)으로 넣어주면 됩니다.
task1 >> task2
[task1, task2] >> task3
Trigger_rule: Airflow DAG run status
근데 여기서 조금 이상한 점이 있습니다. task1이 실패했기 때문에 해당 DAG의 최종 결과는 실패로 표시되어야 할 것 같지만 UI에서 확인해 보면 예상했던 결과와 조금 다른 결과를 반환합니다.

Airflow UI
왜 이런 결과가 나오는지는 airflow의 dagrun.py 파일에서 확인할 수 있습니다.
Airflow: dagrun.py 파일 열어보기
그 이유는 Airflow에서
DAG Run의 상태를 결정하는 데 사용되는 Task Instance 집합은 기본적으로 다운스트림(downstream)이 없는 Task, 즉 리프 노드(Leaf Node) 를 지칭합니다. 가장 마지막 downstream Task(task2)의 실행 상태를 기반으로 DAG의dagrun_state를 설정하기 때문입니다.
# airflow dagrun.py
@provide_session
def update_state(
self, session: Session = NEW_SESSION, execute_callbacks: bool = True
) -> tuple[list[TI], DagCallbackRequest | None]:
"""
Determine the overall state of the DagRun based on the state of its TaskInstances.
:param session: Sqlalchemy ORM Session
:param execute_callbacks: Should dag callbacks (success/failure, SLA etc.) be invoked
directly (default: true) or recorded as a pending request in the ``returned_callback`` property
:return: Tuple containing tis that can be scheduled in the current loop & `returned_callback` that
needs to be executed
"""
...
tis_for_dagrun_state = self._tis_for_dagrun_state(dag=dag, tis=tis)
...
# airflow dagrun.py
def _tis_for_dagrun_state(self, *, dag, tis):
"""
Return the collection of tasks that should be considered for evaluation of terminal dag run state.
Teardown tasks by default are not considered for the purpose of dag run state. But
users may enable such consideration with on_failure_fail_dagrun.
"""
def is_effective_leaf(task):
for down_task_id in task.downstream_task_ids:
down_task = dag.get_task(down_task_id)
if not down_task.is_teardown or down_task.on_failure_fail_dagrun:
# we found a down task that is not ignorable; not a leaf
return False
# we found no ignorable downstreams
# evaluate whether task is itself ignorable
return not task.is_teardown or task.on_failure_fail_dagrun
leaf_task_ids = {x.task_id for x in dag.tasks if is_effective_leaf(x)}
if not leaf_task_ids:
# can happen if dag is exclusively teardown tasks
leaf_task_ids = {x.task_id for x in dag.tasks if not x.downstream_list}
leaf_tis = {ti for ti in tis if ti.task_id in leaf_task_ids if ti.state != TaskInstanceState.REMOVED}
return leaf_tis
Example of watcher pattern with trigger rules
그럼 위와 같은 문제를 어떻게 처리할 수 있을지 확인해 보겠습니다.
위 예시는 Airflow Best Practices 공식 문서의 예제와 동일합니다.
예를 들어 다른 작업의 상태와 상관없이 가장 마지막에 리소스를 정리하는 task(teardown, TriggerRule.ALL_DONE)가 있다면 다음과 같이 DAG를 구성할 수 있습니다.
with DAG(
dag_id="watcher_example",
schedule="@once",
start_date=datetime(2021, 1, 1),
catchup=False,
) as dag:
failing_task = BashOperator(task_id="failing_task", bash_command="exit 1", retries=0)
passing_task = BashOperator(task_id="passing_task", bash_command="echo passing_task")
teardown = BashOperator(
task_id="teardown",
bash_command="echo teardown",
trigger_rule=TriggerRule.ALL_DONE,
)
failing_task >> passing_task >> teardown
이렇게 구성하면 DAG는 failing_task의 실패를 dag 단위에서 확인할 수 없습니다. (위와 같은 이유, teardown은 항상 성공하기 때문에)
여기서 watcher task를 추가하여 다음과 같은 문제를 해결할 수 있습니다.
@task(trigger_rule=TriggerRule.ONE_FAILED, retries=0)
def watcher():
raise AirflowException("Failing task because one or more upstream tasks failed.")
with DAG(
dag_id="watcher_example",
schedule="@once",
start_date=datetime(2021, 1, 1),
catchup=False,
) as dag:
failing_task = BashOperator(task_id="failing_task", bash_command="exit 1", retries=0)
passing_task = BashOperator(task_id="passing_task", bash_command="echo passing_task")
teardown = BashOperator(
task_id="teardown",
bash_command="echo teardown",
trigger_rule=TriggerRule.ALL_DONE,
)
failing_task >> passing_task >> teardown
list(dag.tasks) >> watcher()
모든 task를 watcher task의 upstream으로 구성하여 하나라도 실패한 task가 있다면 최종적으로 DAG가 실패한 상태를 가질 수 있도록 구성할 수 있습니다.
이를 통해 모든 작업이 통과하면 watcher는 건너뛰어지지만, 무언가 실패하게 된다면 watcher가 실패하며 Dag Run도 실패한 상태로 만들 수 있습니다.
teardown 작업이 없으면 watcher 작업이 필요하지 않습니다.