恢复dag会立即与上次计划的执行一起运行



在暂停dag 2-3天后,当catchup=False恢复dag时,将立即运行最后一次执行。例如,向外部系统发送数据的dag计划每天19:00运行。停止dag 4天并在11:00启用将立即运行dag并在昨天执行,然后在当天的19:00再次运行。在这种情况下,dag在恢复的当天运行两次。

有可能恢复dag,第一次跑步将在19:00进行吗?

使用默认运算符,我们无法实现您的期望。最接近这一点的是气流的LatestOnlyOperator。这是最简单的操作员之一,只需要以下配置

latest_only = LatestOnlyOperator(task_id='latest_only')

这将使下游任务仅在current time落在current execution datenext execution date之间时运行。因此,在您的情况下,它将跳过三天的执行,但昨天的运行将触发作业。

最新更新