Python 多处理类型错误：无法泡菜生成器对象

Question

我正在尝试将函数调用映射到池。我正在使用其他类似线程的修复程序，这些线程涉及调用具有多个参数的函数。我无法包含更全面的示例，因为策略类的训练方法非常长且复杂，并且数据集很大：

import multiprocessing as mp
from functools import partial
from numpy import array_split
def call_train(signals, args):
    return args[0].train(signals, args[1])
pool = mp.Pool()
chunks = array_split(data.train_signals, pool._processes)
res = pool.map(partial(call_train, [strat, data.train_md]), chunks)

在上面，strat 是一个 python 对象，data.train_signals 和 data.train_md 都是熊猫数据帧。

错误如下：

File "/home/jason/PycharmProjects/backtester/core/backtester.py", line 51, in evaluate
res = pool.map(partial(call_train, [strat, data.train_md]), chunks)
File "/usr/lib/python3.5/multiprocessing/pool.py", line 260, in map
return self._map_async(func, iterable, mapstar, chunksize).get()
File "/usr/lib/python3.5/multiprocessing/pool.py", line 608, in get
raise self._value
File "/usr/lib/python3.5/multiprocessing/pool.py", line 385, in _handle_tasks
put(task)
File "/usr/lib/python3.5/multiprocessing/connection.py", line 206, in send
self._send_bytes(ForkingPickler.dumps(obj))
File "/usr/lib/python3.5/multiprocessing/reduction.py", line 50, in dumps
cls(buf, protocol).dump(obj)
TypeError: can't pickle generator objects

Answer 1

更新：

在我的strat类下嵌套了 3 个对象，我有一个我忘记的生成器。

Answer 2

在 fit_generator 中设置 use_multiprocessing=False，这以某种方式允许绕过问题。