Python 多处理.池不能腌制 mxnet.mod.Module 对象

Question

这是我所做的大致：

import mxnet as mx
import cv2
from multiprocessing import Pool
from itertools import repeat
num_worker=4
CNNNet=[]
img = cv2.imread('../datasets/1.jpg')
sym, arg_params, aux_params = mx.model.load_checkpoint('det1', 0)
for i in range(num_worker):
worker_net = mx.mod.Module(symbol=sym,label_names=None)
worker_net.bind(data_shapes=[('data', (1, 3, 1000, 1000))],for_training=False)
worker_net.set_params(arg_params,aux_params)
CNNNet.append(worker_net)
pool = Pool(num_worker)
threshold = 0.6
res = pool.map(do_work_warpper,zip(repeat(img),CNNNet[:num_worker],repeat(threshold)))

do_work_warpper()函数为：

def do_work_warpper(args):
return do_work(*args)
def do_work(img,net,threshold):
#do image predict job here
return res

我对以下问题感到困惑：当multiprocessing.Pool与mx.mod.Module对象一起使用时，我在python3.6中出现错误：

TypeError: can't pickle module objects

或者在 python2.7 中：

PicklingError: Can't pickle <type 'module'>: attribute lookup __builtin__.module failed

任何建议将不胜感激。

Answer 1

您获得此异常的原因是multiprocessing需要能够挑选您传递给 worker 的变量，以便在它生成的各种进程之间传递它们。

错误：

TypeError: can't pickle module objects

建议要传递给Pool的变量之一包含模块(或将模块作为属性的类(。

若要演示此问题，请查看以下两个类：

import os
class Pickable: 
a = 1
class UnPickable:
def __init__(self):
self.mod = os

如果你尝试泡菜这两个类的实例，你将得到：

In [11]: pickle.dumps(Pickable())
Out[11]: b'x80x03c__main__nPickablenqx00)x81qx01.'
In [10]: pickle.dumps(UnPickable())
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-10-7d4d725a1c6d> in <module>()
----> 1 pickle.dumps(UnPickable())
TypeError: can't pickle module objects

话虽如此 - 要么你创建自己的类来模仿mx.mod.Module的功能，但可以序列化 - 或者(在我看来更好的解决方案(使用简单的(https://docs.python.org/3.1/library/pickle.html#what-can-be-pickled-and-unpickled(python内置类型将变量传递给你的Pool的工作线程，并在它们自己构建mx.mod.Module实例。