当我在使用 Dask-ML 时不断超出使用的内存时，我该怎么办?

Question

我正在使用Dask-ML来运行一些代码，这些代码在训练期间会消耗相当多的RAM内存。训练数据集本身并不大，但它在训练期间使用了相当多的 RAM 内存。即使我尝试对n_jobs使用不同的值，我仍然收到以下错误消息：

distributed.nanny - WARNING - Worker exceeded 95% memory budget. Restarting

我能做什么？

Ps：我也尝试过使用 Kaggle 内核(允许高达 16GB RAM(，但这不起作用。所以我现在正在尝试 Dask-ML。我也只是使用其默认参数值连接到 Dask 集群，代码如下：

from dask.distributed import Client
import joblib
client = Client()
with joblib.parallel_backend('dask'):
# My own codes

Answer 1

Dask 有一个详细的页面，介绍了帮助内存管理的技术。 您可能还对配置溢出到磁盘 Dask 工作线程感兴趣。 例如，宁愿