气流分布式模型服务

Question

从localexecutor切换到celeryexecutor.

在这个模型中，我有

Masternode1 - airflow webserver, airflow scheduler, rabbitmq 
Masternode2 - airflow webserver, rabbitmq
Workernode1 - airflowworker
Workernode2 - airflowworker
Workernode3 - airflowworker

问题：

芹菜的Flower服务在哪里运行？是否需要在所有节点或仅任何一个节点中运行它(因为它只是一个 UI(

是否有任何其他组件可以管理生产工作负载？

为经纪人使用Kafka是现实并可以使用吗？

谢谢

Answer 1

Celery Flower 是另一种(可选(服务，您可能希望在专用计算机上独立使用，或者在少数 Airflow 服务之间共享一台计算机。 例如，您可以在一台机器上运行Web服务器和花朵，在专用机器上运行调度程序和几个气流工作线程。

卡夫卡作为芹菜的经纪人是人们经常谈论的事情，但据我所知，芹菜中没有具体的工作。然而，考虑到有人有兴趣在 Kombu 中获得 Kafka 支持，我认为当 Kombu 获得 Kafka 支持的那一刻，Celery 很快就会跟进，因为 Kombu 是 Celery 的核心依赖。