我正在使用scikit-learn用大量数据拟合LDA模型。相关代码段如下:
lda = LatentDirichletAllocation(n_topics = n_topics,
max_iter = iters,
learning_method = 'online',
learning_offset = offset,
random_state = 0,
evaluate_every = 5,
n_jobs = 3,
verbose = 0)
lda.fit(X)
(我想这里唯一可能相关的细节是我使用多个工作。)
过了一段时间后，我得到"设备上没有空间"错误，即使磁盘上有足够的空间和足够的空闲内存。我在两台不同的计算机上(在我的本地计算机上和远程服务器上)尝试了几次相同的代码，首先使用python3，然后使用python2，每次我都以相同的错误告终。
如果我在一个较小的数据样本上运行相同的代码，一切都很好。
整个堆栈跟踪:
Failed to save <type 'numpy.ndarray'> to .npy file:
Traceback (most recent call last):
File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/numpy_pickle.py", line 271, in save
obj, filename = self._write_array(obj, filename)
File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/numpy_pickle.py", line 231, in _write_array
self.np.save(filename, array)
File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/numpy/lib/npyio.py", line 491, in save
pickle_kwargs=pickle_kwargs)
File "/home/ubuntu/anaconda2/lib/python2.7/site-packages/numpy/lib/format.py", line 584, in write_array
array.tofile(fp)
IOError: 275500 requested and 210934 written
IOErrorTraceback (most recent call last)
<ipython-input-7-6af7e7c9845f> in <module>()
7 n_jobs = 3,
8 verbose = 0)
----> 9 lda.fit(X)
/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/decomposition/online_lda.pyc in fit(self, X, y)
509 for idx_slice in gen_batches(n_samples, batch_size):
510 self._em_step(X[idx_slice, :], total_samples=n_samples,
--> 511 batch_update=False, parallel=parallel)
512 else:
513 # batch update
/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/decomposition/online_lda.pyc in _em_step(self, X, total_samples, batch_update, parallel)
403 # E-step
404 _, suff_stats = self._e_step(X, cal_sstats=True, random_init=True,
--> 405 parallel=parallel)
406
407 # M-step
/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/decomposition/online_lda.pyc in _e_step(self, X, cal_sstats, random_init, parallel)
356 self.mean_change_tol, cal_sstats,
357 random_state)
--> 358 for idx_slice in gen_even_slices(X.shape[0], n_jobs))
359
360 # merge result
/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/parallel.pyc in __call__(self, iterable)
808 # consumption.
809 self._iterating = False
--> 810 self.retrieve()
811 # Make sure that we get a last message telling us we are done
812 elapsed_time = time.time() - self._start_time
/home/ubuntu/anaconda2/lib/python2.7/site-packages/sklearn/externals/joblib/parallel.pyc in retrieve(self)
725 job = self._jobs.pop(0)
726 try:
--> 727 self._output.extend(job.get())
728 except tuple(self.exceptions) as exception:
729 # Stop dispatching any new job in the async callback thread
/home/ubuntu/anaconda2/lib/python2.7/multiprocessing/pool.pyc in get(self, timeout)
565 return self._value
566 else:
--> 567 raise self._value
568
569 def _set(self, i, obj):
IOError: [Errno 28] No space left on device
LatentDirichletAllocation也有同样的问题。看起来，当您运行df -h时，您正在耗尽共享内存(/dev/shm)。尝试将JOBLIB_TEMP_FOLDER环境变量设置为不同的东西:例如，设置为/tmp。对我来说，它已经解决了问题。
或者只是增加共享内存的大小，如果您对正在训练LDA的机器有适当的权限的话。
这个问题发生在共享内存被消耗并且不允许任何I/O操作时。这是大多数Kaggle用户在拟合机器学习模型时遇到的一个令人沮丧的问题。
我通过使用下面的代码设置JOBLIB_TEMP_FOLDER变量来解决这个问题。
%env JOBLIB_TEMP_FOLDER=/tmp
@silterser的解决方案为我解决了这个问题。
如果你想在代码中设置环境变量，这样做:
import os
os.environ['JOBLIB_TEMP_FOLDER'] = '/tmp'
由于joblib 1.3，您可以使用parallel_config来设置tmp文件夹
from joblib.parallel import parallel_config
with parallel_config(backend='threading', temp_folder='/tmp'):
pass
这是因为您设置了n_jobs=3。您可以将其设置为1，那么将不会使用共享内存，尽管学习将花费更长的时间。您可以根据上面的答案选择job job缓存目录，但请记住，根据数据集的不同，此缓存也可以快速填满磁盘。磁盘事务可能会降低作业的速度。
我知道有点晚了，但是我通过设置learning_method = 'batch'解决了这个问题。
这可能会带来其他问题，比如延长训练时间，但它缓解了共享内存空间不足的问题。
或者可以设置较小的batch_size。虽然我自己没有测试过
我在Docker内运行时遇到了同样的问题。花了几个小时试图解决这个问题，结果缺少对服务器NAS的权限。
这里有一些你可以做的事情:
- 减少批量大小
- 添加mem
- 检查mem访问
如果你在docker上运行，默认的shm空间是64mb，你需要在运行
时指定空间——shm-size=64g命令如下:sudo docker run——gpu all——cpuset-cpus 0-63——shm-size=64g -it YOUR_IMAGE