是否有DASK API可以在DASK群集中获取当前任务



我遇到了一个问题,如果在短时间内提交了大量任务,则dask调度程序被杀死(尽管工人一直在运行)。

如果可以在群集上获取当前的任务数,则很容易控制提交给群集的并发任务计数。

注意:任务已从多个客户端提交给同一调度程序。

您可以使用client.run_on_scheduler方法在调度程序上运行任意python函数。

使用此功能您可以查看所需的任何调度程序状态。

client.run_on_scheduler(lambda dask_scheduler: dask_scheduler.tasks)

请注意,调度程序可以处理数百万个任务。如果您接近此处,那么您可能应该重新考虑如何使用DASK。为了获得最佳性能,您应该选择服用数百毫秒或更多的任务。

最新更新