使用Adaboost在特征向量中选择最佳特征



我已经阅读了一些关于Adaboost如何工作的文档,但对此有一些问题。

我还读到,除了对弱分类器进行加权之外,Adaboost 还从数据中选择最佳功能,并在测试阶段使用它们以有效地执行分类。

Adaboost如何从数据中选择最佳功能?

如果我对阿达普的理解是错误的,请纠正我!

在某些情况下,Adaboost 中的弱分类器(几乎)等于特征。换句话说,使用单个特征进行分类可以导致性能略好于随机性能,因此它可以用作弱分类器。Adaboost 将在给定训练数据的情况下找到一组最佳弱分类器,因此如果弱分类器等于特征,那么您将指示最有用的特征。

类似于特征的弱分类器的一个例子是决策树桩。

好的,adaboost 根据其基本学习器树来选择功能。对于单个树,有几种方法可以估计单个特征对树的贡献,在某处称为相对重要性。对于adaboosting,一种包含多个此类树的集成方法,可以通过测量每个特征对每棵树的显着性然后平均来计算每个特征对最终模型的相对重要性。

希望这能帮助你。

最新更新