我使用的是气流版本2.2.2和芹菜作为执行器。这是我正在努力实现的事情
- 达格应该每秒运行一次
- 一次只能运行一个活动dag
以前我用芹菜和芹菜解决过这个问题。由于将应用程序移动到基于集群的调度程序，我们正在尝试使用气流。有人能建议我们在这个用例中使用气流吗
否。气流不适合此用例。每隔一秒钟运行一次的进程可能不属于批处理的范围。
在您的情况下，当将这两个条件结合在一起时，这也意味着任务必须在1秒内完成，否则池会堆积起来，会安排更多的任务，然后您才能进行处理。气流不太可能处理它。
对于这个功能，我会检查事件来源和分布领域的更多技术(假设你想每1秒运行一个过程的原因是对不断更新/保存的数据做出实时响应(