多个线性回归Scikit-Learn和StatsModel

Question

我正在尝试使用Scikit-Learn在数据集上使用多个线性回归，但是我在获得正确的系数方面遇到了麻烦。我正在使用Huron湖数据，可以在此处找到：

https://vincentarelbundock.github.io/rdatasets/datasets.html

转换后，我有以下值：

         x1        x2        y
0  0.202165  1.706366  0.840567
1  1.706366  0.840567  0.694768
2  0.840567  0.694768 -0.291031
3  0.694768 -0.291031  0.333170
4 -0.291031  0.333170  0.387371
5  0.333170  0.387371  0.811572
6  0.387371  0.811572  1.415773
7  0.811572  1.415773  1.359974
8  1.415773  1.359974  1.504176
9  1.359974  1.504176  1.768377
...  ...       ...       ...

使用

df = pd.DataFrame(nvalues, columns=("x1", "x2", "y"))
result = sm.ols(formula="y ~ x2 + x1", data=df).fit()
print(result.params)

产生

Intercept   -0.007852
y2           1.002137
y1          -0.283798

是正确的值，但是如果我最终使用Scikit-learn，我会得到：

a = np.array([nvalues["x1"], nvalues["x2"]])
b = np.array(nvalues["y"])
a = a.reshape(len(nvalues["x1"]), 2)
b = b.reshape(len(nvalues["y"]), 1)
clf = linear_model.LinearRegression()
clf.fit(a, b)
print(clf.coef_)

我得到[[-0.18260922 0.08101687]]。

有关完整的我的代码

from sklearn import linear_model
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import statsmodels.formula.api as sm
def Main():
    location = r"~/Documents/Time Series/LakeHuron.csv"
    ts = pd.read_csv(location, sep=",", parse_dates=[0], header=0)
    #### initializes the data ####
    ts.drop("Unnamed: 0", axis=1, inplace=True)
    x = ts["time"].values
    y = ts["LakeHuron"].values
    x = x.reshape(len(ts), 1)
    y = y.reshape(len(ts), 1)
    regr = linear_model.LinearRegression()
    regr.fit(x, y)
    diff = []
    for i in range(0, len(ts)):
        diff.append(float(ts["LakeHuron"][i]-regr.predict(x)[i]))
    ts[3] = diff
    nvalues = {"x1": [], "x2": [], "y": []}
    for i in range(0, len(ts)-2):
        nvalues["x1"].append(float(ts[3][i]))
        nvalues["x2"].append(float(ts[3][i+1]))
        nvalues["y"].append(float(ts[3][i+2]))
    df = pd.DataFrame(nvalues, columns=("x1", "x2", "y"))
    result = sm.ols(formula="y ~ x2 + x1", data=df).fit()
    print(result.params)
    #### using scikit-learn ####
    a = np.array([nvalues["x1"], nvalues["x2"]])
    b = np.array(nvalues["y"])
    a = a.reshape(len(nvalues["x1"]), 2)
    b = b.reshape(len(nvalues["y"]), 1)
    clf = linear_model.LinearRegression()
    clf.fit(a, b)
    print(clf.coef_)
if __name__ == "__main__":
    Main()

Answer 1

问题是行

a = np.array([nvalues["x1"], nvalues["x2"]])

因为它不会按照您的意图对数据进行排序。相反，它将生成一个数据集

x1_new    x2_new
-----------------
 x1[0]     x1[1]
 x1[2]     x1[3]
[...]
 x1[94]    x1[95]
 x2[0]     x2[1]
[...]

尝试

ax1 = np.array(nvalues["x1"])
ax2 = np.array(nvalues["x2"])
ax1 = ax1.reshape(len(nvalues["x1"]), 1)
ax2 = ax2.reshape(len(nvalues["x2"]), 1)
a = np.hstack([ax1,ax2])

可能有一种更干净的方法可以做到这一点，但是这样它起作用了。回归现在也给出了所有正确的结果。

编辑：清洁方法是使用transpose()：

a = a.transpose()

Answer 2

根据@orange建议，我将代码更改为我的事物更有效：

#### using scikit-learn ####
a = []
for i in range(0, len(nvalues["x1"])):
    a.append([nvalues["x1"][i], nvalues["x2"][i]])
a = np.array(a)
b = np.array(nvalues["y"])
a = a.reshape(len(a), 2)
b = b.reshape(len(nvalues["y"]), 1)
clf = linear_model.LinearRegression()
clf.fit(a, b)
print(clf.coef_) 

与Scikit-Learn网站上的示例类似，用于简单回归