并行Numpy矢量运算

Question

例如，让我们使用numpy.sin()

以下代码将返回阵列a的每个值的正弦值：

import numpy
a = numpy.arange( 1000000 )
result = numpy.sin( a )

但是我的机器有32个核心，所以我想利用它们。（对于numpy.sin()这样的东西来说，开销可能不值得，但我实际想要使用的函数要复杂得多，而且我将处理大量的数据。）

这是最好的（阅读：最聪明还是最快）方法：

from multiprocessing import Pool
if __name__ == '__main__':
    pool = Pool()
    result = pool.map( numpy.sin, a )

或者有更好的方法吗？

Answer 1

有更好的方法：numexpr

从主页稍微改写：

这是一个用C编写的多线程虚拟机，它可以分析表达式，更有效地重写它们，并将它们动态编译为代码，从而为内存和cpu限制的操作获得接近最佳的并行性能。

例如，在我的4核机器中，计算正弦值的速度比numpy快不到4倍。

In [1]: import numpy as np
In [2]: import numexpr as ne
In [3]: a = np.arange(1000000)
In [4]: timeit ne.evaluate('sin(a)')
100 loops, best of 3: 15.6 ms per loop    
In [5]: timeit np.sin(a)
10 loops, best of 3: 54 ms per loop

文档，包括此处支持的功能。您必须检查或向我们提供更多信息，看看numexpr是否可以评估您更复杂的函数。

Answer 2

如果您运行以下命令，这是一个有趣的注意事项：

import numpy
from multiprocessing import Pool
a = numpy.arange(1000000)    
pool = Pool(processes = 5)
result = pool.map(numpy.sin, a)
UnpicklingError: NEWOBJ class argument has NULL tp_new

没想到会这样，所以发生了什么，嗯：

>>> help(numpy.sin)
   Help on ufunc object:
sin = class ufunc(__builtin__.object)
 |  Functions that operate element by element on whole arrays.
 |  
 |  To see the documentation for a specific ufunc, use np.info().  For
 |  example, np.info(np.sin).  Because ufuncs are written in C
 |  (for speed) and linked into Python with NumPy's ufunc facility,
 |  Python's help() function finds this page whenever help() is called
 |  on a ufunc.

yepnumpy.sin是在c中实现的，因此您不能真正将其直接用于多处理。

所以我们必须用另一个函数来包装它

性能：

import time
import numpy
from multiprocessing import Pool
def numpy_sin(value):
    return numpy.sin(value)
a = numpy.arange(1000000)
pool = Pool(processes = 5)
start = time.time()
result = numpy.sin(a)
end = time.time()
print 'Singled threaded %f' % (end - start)
start = time.time()
result = pool.map(numpy_sin, a)
pool.close()
pool.join()
end = time.time()
print 'Multithreaded %f' % (end - start)

$ python perf.py 
Singled threaded 0.032201
Multithreaded 10.550432

哇，我也没想到，对于初学者来说，有几个问题——我们使用python函数，即使它只是一个包装器，而不是纯c函数，还有复制值的开销，默认情况下多处理不共享数据，因此每个值都需要来回复制。

请注意，如果正确地分割我们的数据：

import time
import numpy
from multiprocessing import Pool
def numpy_sin(value):
    return numpy.sin(value)
a = [numpy.arange(100000) for _ in xrange(10)]
pool = Pool(processes = 5)
start = time.time()
result = numpy.sin(a)
end = time.time()
print 'Singled threaded %f' % (end - start)
start = time.time()
result = pool.map(numpy_sin, a)
pool.close()
pool.join()
end = time.time()
print 'Multithreaded %f' % (end - start)
$ python perf.py 
Singled threaded 0.150192
Multithreaded 0.055083

因此，我们可以从中得到什么，多处理是很好的，但我们应该始终测试和比较它，有时更快，有时更慢，这取决于它的使用方式。。。

假设您使用的不是numpy.sin，而是另一个函数，我建议您首先验证多处理确实会加快计算速度，也许来回复制值的开销可能会影响您。

不管怎样，我也相信使用pool.map是最好、最安全的多线程代码方法。。。

我希望这能有所帮助。