当 p >n 时，sklearn 如何进行线性回归？

Question

众所周知

，当变量数(p(大于样本数(n(时，未定义最小二乘估计量。

在 sklearn 中，我收到以下值：

In [30]: lm = LinearRegression().fit(xx,y_train)
In [31]: lm.coef_
Out[31]: 
array([[ 0.20092363, -0.14378298, -0.33504391, ..., -0.40695124,
         0.08619906, -0.08108713]])
In [32]: xx.shape
Out[32]: (1097, 3419)

调用 [30] 应返回错误。在这种情况下，当 p>n 时 sklearn 如何工作？

编辑：矩阵似乎填充了一些值

if n > m:
        # need to extend b matrix as it will be filled with
        # a larger solution matrix
        if len(b1.shape) == 2:
            b2 = np.zeros((n, nrhs), dtype=gelss.dtype)
            b2[:m,:] = b1
        else:
            b2 = np.zeros(n, dtype=gelss.dtype)
            b2[:m] = b1
        b1 = b2

Answer 1

当线性系统未确定时，sklearn.linear_model.LinearRegression找到最小L2范数解，即

argmin_w l2_norm(w) subject to Xw = y

这总是很好的定义和可以通过应用X的伪逆来获得y，即

w = np.linalg.pinv(X).dot(y)

LinearRegression使用的scipy.linalg.lstsq的具体实现使用get_lapack_funcs(('gelss',), ...，它恰恰是一个求解器，它通过奇异值分解(由LAPACK提供(找到最小范数解。

看看这个例子

import numpy as np
rng = np.random.RandomState(42)
X = rng.randn(5, 10)
y = rng.randn(5)
from sklearn.linear_model import LinearRegression
lr = LinearRegression(fit_intercept=False)
coef1 = lr.fit(X, y).coef_
coef2 = np.linalg.pinv(X).dot(y)
print(coef1)
print(coef2)

你会看到coef1 == coef2.(请注意，fit_intercept=False是在 sklearn 估计器的构造函数中指定的，否则它会在拟合模型之前减去每个特征的平均值，从而产生不同的系数(