Numpy 点操作未使用所有 CPU 内核

Question

• 我正在两个矩阵上做numpy点积(让我们假设a和b是两个矩阵(。

当 a 的形状为 (10000， 10000(

• 而 b 的形状为 (1， 10000( 时，numpy.dot(a， b.T( 正在使用所有 CPU 内核。

但是当 a 的形状是 (10000， 10000(

• 而 b 的形状是 (2， 10000( 时，numpy.dot(a， b.T( 并没有使用所有的 CPU 内核(只使用一个(。

当 b 的行大小从 2 到 15(即从 (2， 10000( 到 (15， 10000((时，就会发生这种情况。

例：

import numpy as np
a = np.random.rand(10**4, 10**4)
def dot(a, b_row_size):
b = np.random.rand(b_row_size, 10**4)
for i in range(10):
# dot operation
x = np.dot(a, b.T)
# Using all CPU cores
dot(a, 1)
# Using only one CPU core
dot(a, 2)
# Using only one CPU core
dot(a, 5)
# Using only one CPU core
dot(a, 15)
# Using all CPU cores
dot(a, 16)
# Using all CPU cores
dot(a, 50)

np.show_config((

openblas_lapack_info:
define_macros = [('HAVE_CBLAS', None)]
libraries = ['openblas', 'openblas']
library_dirs = ['/usr/local/lib']
language = c
lapack_opt_info:
define_macros = [('HAVE_CBLAS', None)]
libraries = ['openblas', 'openblas']
library_dirs = ['/usr/local/lib']
language = c
blas_mkl_info:
NOT AVAILABLE
lapack_mkl_info:
NOT AVAILABLE
blas_opt_info:
define_macros = [('HAVE_CBLAS', None)]
libraries = ['openblas', 'openblas']
library_dirs = ['/usr/local/lib']
language = c
blis_info:
NOT AVAILABLE
openblas_info:
define_macros = [('HAVE_CBLAS', None)]
libraries = ['openblas', 'openblas']
library_dirs = ['/usr/local/lib']
language = c

Answer 1

Numpy 点操作未使用所有 CPU 内核

numpy.show_config(( 清楚地表明它在下划线级别使用 OpenBLAS。

所以OpenBLAS是负责并行计算的实际产品。

但是在sgemmOpenBLAS 不会将计算并行化到某个阈值(在您的情况下，b 的行大小为 2 到 15(。

作为一种解决方法，您可以更改 sgemm 文件中的阈值 (GEMM_MULTITHREAD_THRESHOLD(，并使用 numpy 编译 OpenBLAS

将GEMM_MULTITHREAD_THRESHOLD值从4更改为0，以并行化所有sgemm计算。