合奏技术

Question

我想为多个模型分配权重，并创建一个集成模型。我想把我的输出作为一个新的机器学习算法的输入，这个算法会学习正确的权重。但是我如何将多个模型的输出作为一个新的ML算法的输入，因为我得到这样的输出

preds1=model1.predict_prob(xx)
[[0.28054154 0.35648097 0.32954868 0.03342881]
[0.20625692 0.30749627 0.37018309 0.11606372]
[0.28362306 0.33325501 0.34658685 0.03653508]
...
preds2=model2.predict_prob(xx)
[[0.22153498 0.30271243 0.26420254 0.21155006]
[0.32327647 0.39197589 0.23899729 0.04575035]
[0.18440374 0.32447016 0.4736297  0.0174964 ]
...

如何从这2个或更多模型的输出中生成单个Dataframe ?

下面给出了最简单的方法，但我想把输出给一个不同的ML算法来学习权重。

model = LogisticRegression()
model.fit(xx_train, yy_train)
preds1 = model.predict_proba(xx_test)

model = KNeighborsClassifier(n_neighbors=5, metric='minkowski', p=2 )
model.fit(xx_train, yy_train)
preds2 = model.predict_proba(xx_test)

# Each weight is evaluated by calculating the corresponding score
for i in range(len(weights)):
final_inner_preds = np.argmax(preds1*weights[i]+ preds2*(1-weights[i]), axis=1)
scores_corr_wts[i]+= accuracy_score(yy_test, final_inner_preds)

Answer 1

在sklearn中你可以使用StackingClassifier。这应该符合你的需要。

1. 创建一个基本模型定义列表

   base_models = [('SVC', LinearSVC(C = 1)),('RF',RandomForestClassifier(n_estimators=500))]

2. 实例化你的元学习器

   meta_model = LogisticRegressionCV()

3. Instanciate Stacking-Model

   stacking_model = StackingClassifier(estimators=base_models, final_estimator=meta_model, passthrough=True, cv=3)

4. Fit and predict