Python多处理，ValueError:对关闭文件的I/O操作

Question

我的Python多处理包有问题。下面是一个简单的示例代码，说明了我的问题。

import multiprocessing as mp
import time
def test_file(f):
  f.write("Testing...n")
  print f.name
  return None
if __name__ == "__main__":
  f = open("test.txt", 'w')
  proc = mp.Process(target=test_file, args=[f])
  proc.start()
  proc.join()

当我运行此程序时，会出现以下错误。

Process Process-1:
Traceback (most recent call last):
  File "C:Python27libmultiprocessingprocess.py", line 258, in _bootstrap
    self.run()
  File "C:Python27libmultiprocessingprocess.py", line 114, in run
    self.target(*self._args, **self._kwargs)
  File "C:UsersRayGoogle DriveProgrammingPythontestsfollow_test.py", line 24, in test_file
    f.write("Testing...n")
ValueError: I/O operation on closed file
Press any key to continue . . .

在创建新进程的过程中，文件句柄似乎以某种方式"丢失"了。有人能解释一下发生了什么事吗？

Answer 1

我过去也遇到过类似的问题。不确定它是在多处理模块中完成的，也不确定open是否默认设置了执行时关闭标志，但我确信在主进程中打开的文件句柄在多处理子进程中是关闭的。

显而易见的解决方法是将文件名作为参数传递给子进程的init函数，并在每个子进程中打开一次（如果使用池），或者将其作为参数传递到目标函数，并每次调用时打开/关闭。前者需要使用全局来存储文件句柄（这不是一件好事）-除非有人能告诉我如何避免这种情况：）-而后者可能会导致性能下降（但可以与多处理一起使用。直接处理）。

前者示例：

filehandle = None
def child_init(filename):
    global filehandle
    filehandle = open(filename,...)
    ../..
def child_target(args):
    ../..
if __name__ == '__main__':
    # some code which defines filename
    proc = multiprocessing.Pool(processes=1,initializer=child_init,initargs=[filename])
    proc.apply(child_target,args)