用于分类/多类分类的梯度增强树的学习者弱



我是机器学习领域的初学者,我想学习如何使用梯度增强树(GBT(进行多类分类。我已经阅读了有关GBT的一些文章,但对于回归问题,我找不到有关多类阶级GBT的正确解释。我还会在Scikit-Learn库中检查GBT以获取机器学习。GBT的实现是梯度BoostingClassifier,它使用回归树作为多类分类的弱学习者。

gb以前舞台的方式构建了一个添加剂模型;它允许优化任意可区分的损失函数。在每个阶段,N_Classes_回归树都适合二项式或多项式偏差损失函数的负梯度。二进制分类是一种仅诱导单个回归树的特殊情况。

来源:http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.gradientboostingclassifier.html#sklearn.ensemble.gradientboostingclassifier

事物是,为什么我们要使用回归树作为GBT的学习者而不是分类树?如果有人可以为我提供有关为什么要使用回归树而不是分类树以及回归树如何进行分类的解释,那将是非常有帮助的。谢谢

您在这里(数字预测(也在解释'回归',情况并非如此;请记住,分类用logistic 回归进行处理。例如,请参阅您已链接的文档页面中的损失条目:

损失:{'deviance','oppertional'},可选(默认='deviance'(

要优化的损失函数。"偏差"是指用概率输出分类的偏差(=逻辑回归(。对于损失"指数"梯度提升会恢复adaboost算法。

so,"分类树"只是带有loss='deviance' ...

的回归树

最新更新