CeleryExecutor 或 LocalExecutor 用于周期性高容量和可能长时间运行的任务?

Question

>我在 Airflow 中有一个工作流程，可以在我公司运行的多台主机上执行大量任务 (500+(

工作流如下所示：

1. 在计算机上运行一系列测试
2. 将结果记录到数据库。 结果以每台机器为基础，因此可以更新结果。
3. 向 RabbitMQ 发布消息(消息由各种消费者拾取(

开箱即用的执行器非常慢，尊重我正在做的事情。 我已经测试了CeleryExecutor(尽管设置有点痛苦(，而不是生产量。 我知道使用 Celery 我可以在多个后端分配任务。

与本地执行器相比，CeleryExecutor 更适合我正在尝试做的事情吗？

Answer 1

绝对是 CeleryExecutor，有了它，您可以生成无限数量的工人来处理这些任务。