Dask 与频道和内存使用情况共享未来



我正在使用此处描述的 dask 功能"与渠道共享未来"。

正如文件中所解释的,我设法提交了期货并将其添加到渠道中。然后从另一个客户那里,我设法穿越未来并从他们那里得到结果。

在我的用例中,可以将大量期货加载到通道中。当我查看调度程序时,我看到内存使用量甚至增长并保持高水平,即使在我得到结果之后。

有没有办法从通道中卸载期货?

> 截至 2017 年 1 月,没有从渠道中清除特定期货的机制,尽管可能会添加。 您可能想在此处提出问题。

您还可以考虑使用 maxlen= 参数创建具有最大长度的通道

chan = Channel('my-channel', maxlen=100)

首次创建频道时需要执行此操作。

最新更新