顺序向后选择的特征选择原则是什么



例如,当我们用顺序向后选择算法对特征A、B、C进行特征选择时,{A、B,C}的性能为0.7,{A,B}的性能是0.9,{A}的性能则是0.6,那么将选择哪个特征子集?

顺序(或逐步(向后(或向前(的特征选择算法通常是贪婪的。功能将被添加(分别删除(,直到它没有显著改善(分别保留(模型分数。

请注意,分数不是原始性能,而是一些其他指标(AIC、BIC、调整后的R2,例如在回归的情况下(。

在您的示例中,如果停止标准是您希望将性能提高至少0.1,则将选择功能集{A,B},因为在下一步,性能将下降0.3。

这个关于逐步回归的维基百科页面提供了回归情况下的详细信息。

最新更新