Apache气流调度与时间限制和触发

Question

我使用气流与芹菜执行器。现在，我计划为一个任务开发用户交互，以决定在DAG中使用BranchOperator选择分支。它通过运行连续循环来检查数据库中的值。但我觉得这不是一个好的方法。还有别的办法吗?

我想等待这个相互作用直到特定的时间，否则我想停止。有可能在气流中这样做吗?如果有可能，那么是否有可能动态地改变这个时间界限呢?

提前感谢。

Answer 1

您不应该为此使用BranchOperator。如果您希望根据db中的某些值继续进行dag，则应该使用Sensor。有一些现成的气流传感器，你也可以看看其中的一些来创建自己的。传感器基本上轮询特定的标准，并在一段可配置的时间后超时。从你的问题来看，这似乎正是你所需要的。