在调试此实例之前运行作业的下一个实例



当我在 Airflow 上开发并打开我的 DAG 时,它会失败,比如说,步骤 6,步骤 7-9 不会开始。但在我调试问题之前,下一个实例(我把start_date放在过去)将启动并一直运行到步骤 5 并在步骤 6 失败,完全搞砸了我的工作流程。此行为是预期的,还是可以关闭,以便下一个实例直到此实例在所有位置都显示为绿色时才启动?

查看文档以了解您可以在运算符上设置的以下两个选项。

depends_on_past (bool) – 设置为 true 时,任务实例将按顺序运行,同时依靠上一个任务的计划取得成功。允许运行start_date的任务实例。

wait_for_downstream (bool) – 设置为 true 时,任务 X 的实例将等待任务 X 的上一个实例下游的任务成功完成,然后再运行。如果任务 X 的不同实例更改了同一资产,并且此资产由任务 X 下游的任务使用,这将非常有用。请注意,无论在哪里使用wait_for_downstream,depends_on_past都会强制为 True。

参考: https://airflow.incubator.apache.org/code.html#models

最新更新