FileNotFoundError 在 numpy.save 中写入 pickle 文件时

Question

我看到一个令人困惑的间歇性错误。 有时当我打电话给np.save时，我会FileNotFoundError.

Traceback (most recent call last):
File "/home/leo/anaconda3/lib/python3.7/site-packages/numpy/lib/npyio.py", line 536, in save
pickle_kwargs=pickle_kwargs)
File "/home/leo/anaconda3/lib/python3.7/site-packages/numpy/lib/format.py", line 629, in write_array
pickle.dump(array, fp, protocol=2, **pickle_kwargs)
FileNotFoundError: [Errno 2] No such file or directory
During handling of the above exception, another exception occurred:
File "/home/leo/dev/vizproc/embed.py", line 59, in save
np.save(filename, obj)
File "/home/leo/anaconda3/lib/python3.7/site-packages/numpy/lib/npyio.py", line 539, in save
fid.close()
FileNotFoundError: [Errno 2] No such file or directory

它写入的目录肯定存在，并且对象是混合了[str]和np.ndarray的字典，因此它在出路时被腌制了。 查看 numpy 源，它似乎正在尝试关闭它打开进行写入的文件，但失败了：

own_fid = False
if hasattr(file, 'read'):
fid = file
else:
file = os_fspath(file)
if not file.endswith('.npy'):
file = file + '.npy'
fid = open(file, "wb")
own_fid = True
if sys.version_info[0] >= 3:
pickle_kwargs = dict(fix_imports=fix_imports)
else:
# Nothing to do on Python 2
pickle_kwargs = None
try:
arr = np.asanyarray(arr)
format.write_array(fid, arr, allow_pickle=allow_pickle,
pickle_kwargs=pickle_kwargs)
finally:
if own_fid:
fid.close()   # <=- FileNotFoundError

在format.write_array(...)调用内部实际上只是一些类型检查，然后pickle.dump(arr, fid, protocol=2, **pickle_kwargs)这也提高了FileNotFoundError。

我在 Ubuntu 18.04 上使用 Numpy：1.16.3、Python：3.7.1(默认，2018 年 12 月 14 日，19：28：38([GCC 7.3.0]。

我试图推理出什么样的竞争条件会导致这种情况，或者为什么会发生。 是不是文件被这个过程打开，但另一个进程在写入发生之前删除了文件？ 看起来很合理，但这应该重现失败，但它没有：

fid = open("testfile", "wb")
os.unlink("testfile")
pickle.dump({'obj':'test'}, fid, protocol=2)  # no error
fid.close()  # no error

此外，引发错误后，磁盘上有一个零字节文件。 知道发生了什么吗？

Answer 1

我相信造成这种情况的根本原因是硬件问题或磁盘系统深处的问题。 令人沮丧的是，操作系统没有记录任何错误消息。 这个 github 问题的一堆细节，包括一个更简单的重现案例，以防有人想潜入。 关键点：它只发生在 USB 连接的磁盘上，并且只有当路径中有符号链接时。