统计模型公式多项式回归与 numpy 多重拟合系数不匹配

Question

我使用 statsmodels 公式的多项式回归与 nupy polyfit 系数不匹配。

链接到数据 https://drive.google.com/file/d/1fQuCoCF_TeXzZuUFyKaHCbD1zle2f1MF/view?usp=sharing

下面是我的代码

import numpy as np
import pandas as pd
import scipy
import statsmodels.formula.api as smf
data = pd.read_csv('sp500.csv')
data['Date_Ordinal'] = pd.to_datetime(data['Date']).apply(lambda date: date.toordinal())
x = data['Date_Ordinal']
y = data['Value']
np.polyfit(x,y,2)
model = smf.ols(formula='y ~ x + I(x**2)', data = data).fit()
model.summary()

Numpy polyfit 系数结果：

array([ 4.17939013e-05， -6.09338454e+01， 2.22098809e+07](

统计模型系数结果：

x**2： 7.468e-07

x： -0.5466

拦截：-1.486e-06

当我在Excel中向数据添加二次趋势线时，Excel结果与numpy系数一致。但是，如果我在 Excel 趋势线上添加一个截距 1，则 x**2 和 x 的系数等于统计模型系数，但 excel 截距变为 1，而统计模型截距为 -1.486e-06。

如果通过减去 1 从统计模型公式中删除截距，它所做的只是从统计模型结果中完全删除截距，但系数保持不变。

如何让统计模型显示与 numpy polyfit 和 Excel 相同的系数结果？

Answer 1

如果基础数据不在零附近的小范围内，多项式的缩放可能会变得非常糟糕。 因此，计算在数值上变得不稳定，结果可能由数值噪声主导。

http://jpktd.blogspot.com/2012/03/numerical-accuracy-in-linear-least.html 查看具有多项式的NIST测试用例，该多项式的扩展非常糟糕，并且许多统计信息包无法生成数值稳定的解决方案。

Numpy的多项式拟合可以在创建多项式基函数之前在内部重新缩放变量。

通用回归模型(如统计模型中的 OLS(没有必要的信息来重新缩放基础变量以提高数值稳定性。此外，缩放和处理多重共线性留给用户决定。 在这种情况下，OLS 摘要应打印警告。