我正在尝试解决回归任务。我发现有三个模型适用于不同的数据子集：LassoLARS、SVR和Gradient Tree Boosting。我注意到，当我使用所有这3个模型进行预测，然后制作一个"真实输出"和我的3个模型的输出表时，我发现每次至少有一个模型真正接近真实输出，尽管其他两个模型可能相对较远。
当我计算最小可能误差时（如果我从每个测试示例的"最佳"预测器中进行预测），我得到的误差比任何模型单独的误差都小得多。所以我想尝试将这三个不同模型的预测组合成某种集合。问题是，如何正确地做到这一点？我所有的3个模型都是使用scikit-learn构建和调整的，它是否提供了一种可以用于将模型打包到集成中的方法？这里的问题是，我不想只对所有三个模型的预测进行平均，我想通过加权来实现这一点，其中加权应该根据特定示例的属性来确定。
即使scikit learn没有提供这样的功能，如果有人知道如何处理这项任务——为数据中的每个示例计算每个模型的权重，那就太好了。我认为这可能是由一个建立在所有这3个模型之上的独立回归器来完成的，它将尝试为3个模型中的每一个输出最优权重，但我不确定这是否是最好的方法。
这是一个已知的分层预测的有趣（通常很痛苦！）问题。在训练数据上训练多个预测器，然后在它们上训练更高的预测器，再次使用训练数据，这一问题与偏差-方差分解有关。
假设你有两个预测因子，一个本质上是另一个的过拟合版本，那么前者会出现在训练集上，比后者更好。组合预测器会无缘无故地支持前者，只是因为它无法区分过拟合和真正的高质量预测。
处理这一问题的已知方法是，针对训练数据中的每一行，针对每一个预测器，基于不适合该行的模型，为该行准备一个预测。例如，对于过拟合版本，平均而言，这不会对行产生好的结果。组合预测器将能够更好地评估用于组合较低级别预测器的公平模型。
Shahar Azulay；我写了一个变压器阶段来处理这个问题：
class Stacker(object):
"""
A transformer applying fitting a predictor `pred` to data in a way
that will allow a higher-up predictor to build a model utilizing both this
and other predictors correctly.
The fit_transform(self, x, y) of this class will create a column matrix, whose
each row contains the prediction of `pred` fitted on other rows than this one.
This allows a higher-level predictor to correctly fit a model on this, and other
column matrices obtained from other lower-level predictors.
The fit(self, x, y) and transform(self, x_) methods, will fit `pred` on all
of `x`, and transform the output of `x_` (which is either `x` or not) using the fitted
`pred`.
Arguments:
pred: A lower-level predictor to stack.
cv_fn: Function taking `x`, and returning a cross-validation object. In `fit_transform`
th train and test indices of the object will be iterated over. For each iteration, `pred` will
be fitted to the `x` and `y` with rows corresponding to the
train indices, and the test indices of the output will be obtained
by predicting on the corresponding indices of `x`.
"""
def __init__(self, pred, cv_fn=lambda x: sklearn.cross_validation.LeaveOneOut(x.shape[0])):
self._pred, self._cv_fn = pred, cv_fn
def fit_transform(self, x, y):
x_trans = self._train_transform(x, y)
self.fit(x, y)
return x_trans
def fit(self, x, y):
"""
Same signature as any sklearn transformer.
"""
self._pred.fit(x, y)
return self
def transform(self, x):
"""
Same signature as any sklearn transformer.
"""
return self._test_transform(x)
def _train_transform(self, x, y):
x_trans = np.nan * np.ones((x.shape[0], 1))
all_te = set()
for tr, te in self._cv_fn(x):
all_te = all_te | set(te)
x_trans[te, 0] = self._pred.fit(x[tr, :], y[tr]).predict(x[te, :])
if all_te != set(range(x.shape[0])):
warnings.warn('Not all indices covered by Stacker', sklearn.exceptions.FitFailedWarning)
return x_trans
def _test_transform(self, x):
return self._pred.predict(x)
以下是@MaximHaytovich回答中描述的设置改进示例。
首先，一些设置：
from sklearn import linear_model
from sklearn import cross_validation
from sklearn import ensemble
from sklearn import metrics
y = np.random.randn(100)
x0 = (y + 0.1 * np.random.randn(100)).reshape((100, 1))
x1 = (y + 0.1 * np.random.randn(100)).reshape((100, 1))
x = np.zeros((100, 2))
注意，x0和x1只是y的噪声版本。我们将使用前80排进行训练，最后20排进行测试。
这是两个预测因子：较高方差梯度增强器和线性预测因子：
g = ensemble.GradientBoostingRegressor()
l = linear_model.LinearRegression()
以下是答案中建议的方法：
g.fit(x0[: 80, :], y[: 80])
l.fit(x1[: 80, :], y[: 80])
x[:, 0] = g.predict(x0)
x[:, 1] = l.predict(x1)
>>> metrics.r2_score(
y[80: ],
linear_model.LinearRegression().fit(x[: 80, :], y[: 80]).predict(x[80: , :]))
0.940017788444
现在，使用堆叠：
x[: 80, 0] = Stacker(g).fit_transform(x0[: 80, :], y[: 80])[:, 0]
x[: 80, 1] = Stacker(l).fit_transform(x1[: 80, :], y[: 80])[:, 0]
u = linear_model.LinearRegression().fit(x[: 80, :], y[: 80])
x[80: , 0] = Stacker(g).fit(x0[: 80, :], y[: 80]).transform(x0[80:, :])
x[80: , 1] = Stacker(l).fit(x1[: 80, :], y[: 80]).transform(x1[80:, :])
>>> metrics.r2_score(
y[80: ],
u.predict(x[80:, :]))
0.992196564279
叠加预测效果更好。它意识到梯度助推器并没有那么好。
好的，在花了一些时间在谷歌上搜索"堆叠"（正如@andreas之前提到的）之后，我发现了如何在python中进行加权，即使使用scikit学习。考虑以下内容：
我训练了一组回归模型（如前面提到的SVR、LassoLars和GradientBoostingRegressor）。然后，我在训练数据上运行了所有这些数据（与用于训练这3个回归变量的数据相同）。我用我的每一种算法获得了示例的预测，并将这3个结果保存到Panda数据帧中，列为"predictedSVR"、"predicted LASSO"one_answers"predictivedGBR"。我把最后一列添加到这个数据框架中，我称之为"预测"，这是一个真正的预测值。
然后我就在这个新的数据帧上训练一个线性回归：
#df - dataframe with results of 3 regressors and true output
from sklearn linear_model
stacker= linear_model.LinearRegression()
stacker.fit(df[['predictedSVR', 'predictedLASSO', 'predictedGBR']], df['predicted'])
所以，当我想为新的例子做预测时，我只需要分别运行我的3个回归器中的每一个，然后我就可以了：
stacker.predict()
关于我的3个回归器的输出。然后得到一个结果。
这里的问题是，我正在为回归者的平均值寻找最佳权重，我将尝试进行预测的每个例子的权重都是相同的。
您所描述的是所谓的"堆叠"，它尚未在scikit学习中实现，但我认为欢迎您的贡献。一个刚刚达到平均水平的组合很快就会出现：https://github.com/scikit-learn/scikit-learn/pull/4161
响应较晚，但我想为这种堆叠回归方法添加一个实用点（我在工作中经常使用这种方法）。
您可能需要为堆叠器选择一种允许positive=True的算法（例如，ElasticNet）。我发现，当你有一个相对更强的模型时，无约束LinearRegression（）模型通常会为更强的模型拟合更大的正系数，为较弱的模型拟合负系数。
除非你真的相信你较弱的模型具有负面的预测能力，否则这不是一个有用的结果。非常类似于在规则回归模型的特征之间具有高的多重共线性。导致各种边缘效果。
此注释最适用于嘈杂的数据情况。如果你的目标是获得0.9-0.95-0.99的RSQ，你可能想放弃获得负权重的模型。