例如,当我们用顺序向后选择算法对特征A、B、C进行特征选择时,{A、B,C}的性能为0.7,{A,B}的性能是0.9,{A}的性能则是0.6,那么将选择哪个特征子集?
顺序(或逐步(向后(或向前(的特征选择算法通常是贪婪的。功能将被添加(分别删除(,直到它没有显著改善(分别保留(模型分数。
请注意,分数不是原始性能,而是一些其他指标(AIC、BIC、调整后的R2,例如在回归的情况下(。
在您的示例中,如果停止标准是您希望将性能提高至少0.1,则将选择功能集{A,B},因为在下一步,性能将下降0.3。
这个关于逐步回归的维基百科页面提供了回归情况下的详细信息。