标准化时,L1范数与L2范数作为成本函数



我有一些数据,其中输入和输出值都是标准化的,因此Y和Y_pred之间的差异总是很小。

我觉得 l2 范数对模型的惩罚比 l1 范数少,因为对 0 到 1 之间的数字进行平方总是会导致较低的数字。

所以我的问题是,当输入和输出都标准化时,是否可以使用 l2 范数?

关系。

基本思想/动机是如何惩罚偏差。L1范数不太关心异常值,而L2范数对这些异常值的惩罚很大。这是基本的区别,即使在维基百科上,您也会发现很多优点和缺点。

因此,关于您的问题,当预期的偏差很小时是否有意义:当然,它的行为是一样的。

让我们举个例子:

y_real 1.0      ||| y_pred 0.8     ||| y_pred 0.6 
l1:                |0.2| = 0.2         |0.4| = 0.4  => 2x times more error!
l2:                0.2^2 = 0.04        0.4^2 = 0.16 => 4x times more error!

你看,基本思想仍然适用!

最新更新