Python,使用joblib进行并行化:使用多个参数延迟



我使用了类似于下面的代码来并行化两个矩阵的for循环

from joblib import Parallel, delayed
import numpy
def processInput(i,j):
    for k in range(len(i)):
        i[k] = 1
    for t in range(len(b)):
        j[t] = 0
return i,j
a = numpy.eye(3)
b = numpy.eye(3)
num_cores = 2
(a,b) = Parallel(n_jobs=num_cores)(delayed(processInput)(i,j) for i,j in zip(a,b))

,但我得到以下错误:太多的值要解包(预期2)

是否有一种方法返回2值延迟?或者你会提出什么解决方案?

还有,有点OP,是否有一种更紧凑的方法,像下面(实际上不修改任何东西)来处理矩阵?

from joblib import Parallel, delayed
def processInput(i,j):
    for k in i:
        k = 1
    for t in b:
        t = 0
return i,j

我希望避免使用has_shareable_memory,以避免在实际脚本中可能的不良交互和较低的性能(?)

可能太晚了,但作为对你问题第一部分的回答:只需在延迟函数中返回一个元组。

return (i,j)

对于保存所有延迟函数输出的变量

results = Parallel(n_jobs=num_cores)(delayed(processInput)(i,j) for i,j in zip(a,b))

现在results是一个元组列表,每个元组包含一些(i,j),你可以迭代结果。

最新更新