如何控制高斯混合中的进程数

Question

GaussianMix没有n_jobs参数。同时，每当我适合模型时

from sklearn.mixture import GaussianMixture as GMM
gmm = GMM(n_components=4,
          init_params='random',
          covariance_type='full',
          tol=1e-2,
          max_iter=100,
          n_init=1)
gmm.fit(X, y)

它跨越 16 个进程，并使用我的 16 个 CPU 机器的全部 CPU 能力。我不希望它这样做。

相比之下，Kmeans具有n_jobs参数，用于在具有多个初始化(n_init>1(时控制多处理。在这里，多处理突然出现。

我的问题是它来自哪里以及如何控制它？

Answer 1

您正在观察基本代数运算方面的并行处理，通过 BLAS/LAPACK 加速。

修改它并不像设置 n_jobs 参数那么简单，而是取决于您使用的实现！

常见的候选者是ATLAS，OpenBLAS和英特尔的MKL。

我建议先检查使用哪一个，然后采取相应的行动：

import numpy as np
np.__config__.show()

可悲的是，这些事情可能会变得棘手。例如，MKL 的有效环境可能如下所示(来源(：

export MKL_NUM_THREADS="2"
export MKL_DOMAIN_NUM_THREADS="MKL_BLAS=2"
export OMP_NUM_THREADS="1"
export MKL_DYNAMIC="FALSE"
export OMP_DYNAMIC="FALSE"

对于 ATLAS，您似乎在编译时定义了这一点。

根据这个答案，这同样适用于OpenBLAS。

正如OP测试的那样，您似乎可以侥幸为OpenMP设置环境变量，即使对于开源候选者Atlas和OpenBLAS也可以修改行为(其中编译时间限制是替代方案(：

export OMP_NUM_THREADS="4";