Adaboost和决策树功能重要性有何不同?

Question

我有一个多类分类问题，我基于杂质减少提取特征重要度。我比较了决策树和AdaBoost的分类器，我观察到有一个特征在决策树中排名靠前，而根据AdaBoost，它的重要性很低。这是正常的行为吗?由于

Answer 1

是的，这是正常行为。特征重要性为模型的所有输入特征计算一个分数。然而，每个模型都有(稍微)不同的技术。例如:线性回归将着眼于线性关系。如果一个功能与你的目标具有完美的线性关系，那么它就具有很高的功能重要性。具有非线性关系的特征可能无法提高准确性，从而导致较低的特征重要性得分。

有一些关于特征重要性度量差异的研究。一个例子是:https://link.springer.com/article/10.1007/s42452 - 021 - 04148 - 9