为什么均方误差实际上是"squared",只需一个'abs'或模函数就可以完成工作?



成本函数也可以通过许多其他方法变为正数,最简单的方法是abs(x)或模函数,或者只是x^4,这在计算上是昂贵的。为什么只有方形?

它并不总是"只有正方形"。 例如,分位数回归使用abs(error),Huber损失结合了L1和L2损失,并且还有其他选项(例如相对或对数误差)。但error^2有一些优点:

  • error^2给出了最直观的解决方案,因为sum(x-a)其中x是向量,a是变量参数是 经a=mean(x)最小化,均值是一个非常有意义的统计量。
  • mean(x),这个解决方案在计算上更容易找到,例如median(x)(sum(abs(error))的最小化器,或sum(error^4)的最小化器。当我们进行回归时,这一点尤其重要 - 也就是说,不仅估计y的平均值,而且估计y条件的平均值x,这可能是一个复杂的函数。
  • error^2最关心的是大错误,这有时是你想要的——错误越大,你就越关心它。
  • sum(error^2)是似然函数的变换,如果假设误差是正态的 - 并且正态误差在许多应用中都很常见,并且得到了统计理论的充分支持。如果最小化误差平方和,则最大化可能性。

最新更新