子处理Popen并通信后关闭所有文件的正确方法

Question

我们在运行python Twisted应用程序的Ubuntu Linux机器上遇到了一些可怕的"太多打开文件"的问题。在我们程序的许多地方，我们使用子进程Popen，如下所示：

Popen('ifconfig ' + iface, shell=True, stdin=PIPE, stdout=PIPE, stderr=STDOUT, close_fds=True)
output = process.stdout.read()

而在其他地方，我们使用子进程通信：

process = subprocess.Popen(['/usr/bin/env', 'python', self._get_script_path(script_name)],
                       stdin=subprocess.PIPE,
                       stdout=subprocess.PIPE,
                       close_fds=True)
out, err = process.communicate(data)

在这两种情况下，我究竟需要做什么才能关闭任何打开的文件描述符？Python文档对此并不清楚。从我收集的信息（可能是错误的）来看，communication（） 和 wait（） 确实会自行清理任何打开的 fds。但是波彭呢？如果我不调用 communication 或等待，我是否需要在调用 Popen 后显式关闭 stdin、stdout 和 stderr？

Answer 1

根据子进程模块（链接）的此源，如果您调用communicate则不需要关闭stdout和stderr管道。

否则我会尝试：

process.stdout.close()
process.stderr.close()

使用完process对象后。

例如，当您直接呼叫.read()时：

output = process.stdout.read()
process.stdout.close()

查看上面的模块源代码以了解communicate()是如何定义的，您将看到它在从每个管道读取后关闭每个管道，所以这也是你应该做的。

Answer 2

如果您使用的是 Twisted，请不要使用 subprocess . 如果您改用spawnProcess，则无需处理像这样烦人的资源管理问题。