在内核重启时执行Dask LocalCluster Shutdown



如果我重新启动我的jupyter内核将任何现有的LocalCluster关闭或任务工作进程将继续运行?

我知道当我使用SLURM集群时,如果我重新启动内核而不调用cluster.close(),则进程保持运行,并且我必须使用squeue来查看它们并使用scancel来取消它们。

然而,对于本地进程,我怎么知道所有的工作进程在我重新启动内核后都消失了呢?如果它们不自动消失,如果我不再有权访问cluster(内核重新启动),我如何手动关闭它们

我试着记住调用cluster.close,但我经常忘记。使用上下文管理器不适合我的jupyter需求。

在python内核进程的正常终止过程中,所有对象都将被结束。对于集群对象,这包括自动调用close(),您通常不需要担心它。

可能close没有机会运行,在这种情况下,内核被强制终止而不是正常终止。由于所有LocalCluster进程都是启动它的内核的子进程,因此这仍然会导致集群停止,但可能会有一些关于连接没有时间清理自己的警告。您应该能够忽略这些警告。

最新更新