气流追赶添加到 DAG 的新任务



当您使用catchup=True部署新的DAG时,Airflow调度程序会自动调度从start_date到现在的所有任务。它完成,你会得到很多深绿色的球,这意味着过去的那些DAG已经运行过。

但现在,您希望向过去的 DAG 运行添加新任务。如何操作才能使旧的 DAG 运行识别新任务并运行它们?

您应该清除旧的 DAG 运行(也可以在 GUI 中完成(。清除的运行将重新计划,包括新添加的任务。

如果您有权访问气流 cli,则可以使用回填命令在任何时间段内运行新任务。该命令不会重新运行已在后续 dag 运行中运行的任何任务。

回填的开始和结束日期是可选的,因此您可以运行

$ airflow backfill your_dag_id

最新更新