有没有相当于最大任务的dask



我们有与本机代码交互的作业,并且在工作线程处理任务时存在不可避免的内存泄漏。我们问题的简单解决方案是在指定数量的任务后重新启动工作线程。

我们正在从python的多处理迁移,该多处理具有有用的maxtasksperchild选项,该选项在指定数量的任务后关闭worker。

dask 中是否有内置的东西可以与 maxtasksperchild 相媲美?

作为一种解决方法,我们通过将其工作线程地址附加到结果有效负载并在客户端手动调用retire_workers来跟踪已完成任务的工作线程。

不,在 Dask 中没有这样的等价物

最新更新