通过Apache气流中的性能平衡任务分配

Question

我想根据每个工人的健康和当前负载，将工作分发给我的工人。与Haproxy LivesConn相似的东西是我所追求的。

工人有办法报告其负载/健康状况并进行相应分配的任务吗？我对Dask或芹菜很好，但最熟悉芹菜

Answer 1

如果使用dask，则应该自动执行此操作。DASK调度程序负责负载平衡和节点掉落。我希望芹菜在那儿做同样的事情，尽管我在那里不太熟悉。