Dask中工作人员之间的所有通信是否都是通过调度器分布的



我正在尝试确定集群中的所有工作程序是否需要能够相互查看,或者只查看调度程序进程。当数据需要在工人之间传输时,他们是直接通信,还是通过sheduler发送数据?

理想情况下,工作人员应该能够直接相互通信,以便能够根据需要更快地复制数据(结果(。您不想让您的调度程序成为数据通信的单一瓶颈;所有消息和任务都通过调度器,但这些消息和任务往往要小得多。

编辑:文档链接:http://distributed.dask.org/en/stable/journey.html#step-5-在工上执行

最新更新