循环中的多处理，"Pool not running"错误

Question

我正在尝试循环运行一些计算，每个计算都会创建、使用和关闭一个池。但计算只运行一次，然后抛出错误："池未运行"。当然旧的没有运行，但不应该创建新的吗？

下面是一个简化的示例，类似于我的代码。更奇怪的是，在我的实际代码计算中，计算在崩溃之前运行了 7 次，所以我真的很困惑问题是什么。任何建议表示赞赏！

from pathos.multiprocessing import ProcessingPool as Pool
def add_two(number):  
return (number + 2)
def parallel_function(numbers):
pool = Pool(10)
result = pool.imap(add_two, numbers)
pool.close()
pool.join()    
return(result)
sets=[
[1, 2, 3],
[2, 3, 4],
[3, 4, 5]
]
for one_set in sets:
x = parallel_function(one_set)
for i in x:
print(i)

Answer 1

这是一个pathos限制，它使用单一实例模式实现池。

这是相关的问题票证。

我建议您使用另一个工作线程池实现。

Answer 2

下面假设 pathos 的行为与多处理相同。如果您使用的是多处理，则会出现以下问题。

问题是您的函数在 imap 完成之前关闭了池：

def parallel_function(numbers):
pool = Pool(10)
result = pool.imap(add_two, numbers)
pool.close()
pool.join()    
return(result)

这应该写成：

def parallel_function(numbers):
with Pool(10) as pool:
yield from pool.imap(add_two, numbers)