不依赖于真值的损失函数

Question

据我所知，机器学习环境中的损失函数通常是两个变量的函数:预测和基本事实。是否存在不依赖于基础真值的损失函数?举个简单的例子，如果我要预测一个实值变量，我可以用均方误差作为损失函数。但如果我知道，根据物理原理，输出描述了一些正的量，我可以定义一个改进的自定义损失函数，主要是MSE，但可能会有一个额外的项，在每次做出负预测时进行惩罚。这个附加项不需要考虑基础真理的价值。这种想法普遍吗?它有什么名字吗?

Answer 1

损失函数不必依赖于基真值。从字面上看，它是你最小化的任何东西，它可以是与基础真理的逐点比较，它可以是对某些属性的验证(就像你描述的那样)，它可以是正则化(例如激活规范)，或者它可以依赖于整体统计(例如损失鼓励预测两个不同的点是不同的)。没有所谓的"规则"。这里，根据定义，你想最小化的东西都是损失函数。