成本函数也可以通过许多其他方法变为正数,最简单的方法是abs(x)
或模函数,或者只是x^4
,这在计算上是昂贵的。为什么只有方形?
它并不总是"只有正方形"。 例如,分位数回归使用abs(error)
,Huber损失结合了L1和L2损失,并且还有其他选项(例如相对或对数误差)。但error^2
有一些优点:
error^2
给出了最直观的解决方案,因为sum(x-a)
其中x
是向量,a
是变量参数是 经a=mean(x)
最小化,均值是一个非常有意义的统计量。mean(x)
,这个解决方案在计算上更容易找到,例如median(x)
(sum(abs(error))
的最小化器,或sum(error^4)
的最小化器。当我们进行回归时,这一点尤其重要 - 也就是说,不仅估计y
的平均值,而且估计y
条件的平均值x
,这可能是一个复杂的函数。error^2
最关心的是大错误,这有时是你想要的——错误越大,你就越关心它。sum(error^2)
是似然函数的变换,如果假设误差是正态的 - 并且正态误差在许多应用中都很常见,并且得到了统计理论的充分支持。如果最小化误差平方和,则最大化可能性。