我有一些数据,其中输入和输出值都是标准化的,因此Y和Y_pred之间的差异总是很小。
我觉得 l2 范数对模型的惩罚比 l1 范数少,因为对 0 到 1 之间的数字进行平方总是会导致较低的数字。
所以我的问题是,当输入和输出都标准化时,是否可以使用 l2 范数?
没
关系。
基本思想/动机是如何惩罚偏差。L1范数不太关心异常值,而L2范数对这些异常值的惩罚很大。这是基本的区别,即使在维基百科上,您也会发现很多优点和缺点。
因此,关于您的问题,当预期的偏差很小时是否有意义:当然,它的行为是一样的。
让我们举个例子:
y_real 1.0 ||| y_pred 0.8 ||| y_pred 0.6
l1: |0.2| = 0.2 |0.4| = 0.4 => 2x times more error!
l2: 0.2^2 = 0.04 0.4^2 = 0.16 => 4x times more error!
你看,基本思想仍然适用!