我使用这个答案是为了在Linux机器上运行具有多处理的Python并行命令。
我的代码做了类似的事情：
import multiprocessing
import logging
def cycle(offset):
# Do stuff
def run():
for nprocess in process_per_cycle:
logger.info("Start cycle with %d processes", nprocess)
offsets = list(range(nprocess))
pool = multiprocessing.Pool(nprocess)
pool.map(cycle, offsets)
但是我收到此错误：OSError: [Errno 24] Too many open files
因此，代码打开了太多的文件描述符，即：它启动了太多进程而不是终止它们。
我修复了它，用这些行替换了最后两行：
with multiprocessing.Pool(nprocess) as pool:
pool.map(cycle, offsets)
但我不知道为什么这些线修复了它。
那with下面发生了什么？
你在循环中创建新进程，然后在完成它们后忘记关闭它们。结果，有一点是你有太多的开放进程。这是个坏主意。
你可以通过使用自动调用pool.terminate的上下文管理器来解决此问题，或者手动调用pool.terminate自己。或者，为什么不在循环外部创建一个池，然后将任务发送到内部的进程？
pool = multiprocessing.Pool(nprocess) # initialise your pool
for nprocess in process_per_cycle:
...
pool.map(cycle, offsets) # delegate work inside your loop
pool.close() # shut down the pool
有关更多信息，您可以仔细阅读multiprocessing.Pool文档。
我已经在终止和关闭池，但文件描述符的数量有限制，我将 ulimit 从1024更改为4096并且它起作用了。以下是过程：
检查：
ulimit -n
我将其更新为 4096 并且它有效。
ulimit -n 4096
它是上下文管理器。使用 with 可确保正确打开和关闭文件。为了详细理解这一点，我推荐这篇文章 https://jeffknupp.com/blog/2016/03/07/python-with-context-managers/
当您使用 numpy.load 时也会发生这种情况，请确保也关闭这些文件，或者避免使用它并使用 pickle 或 torch.save torch.load 等。