如何在增强回归中增加观测值的权重

Question

如何在增强回归中增加观测值的权重，比如对于增强分类，你可以给预测错误的观测值增加更多的权重，但是对于增强回归，你怎么知道哪个观测值是错误的，并给它们增加权重?我们有一个提高回归的误差范围吗?

Answer 1

https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostRegressor.html就是这样做的。参考:使用提升技术改进回归量。

实际上，每一步提升都有一个损失，例如loss=(y-f(x))**2，那么你可以用loss来表示权重。重量可以使用两种方法。一种是使用权值对数据集进行重采样。另一种是在优化中直接使用损失的权重