Caffe中的交叉熵实现

Question

查看sigmoid_cross_entropy_loss_layer.cpp中的源代码，这是caffe中交叉熵损失函数的源代码，我注意到实际错误值的代码是

for (int i = 0; i < count; ++i) {
loss -= input_data[i] * (target[i] - (input_data[i] >= 0)) -
log(1 + exp(input_data[i] - 2 * input_data[i] * (input_data[i] >= 0)));
}

这似乎与我在这里找到的 Caffe 或C++实现文档中的 CE 损失函数有很大不同：

https://visualstudiomagazine.com/Articles/2014/04/01/Neural-Network-Cross-Entropy-Error.aspx?Page=2

或者实际上是CE损失函数的定义。

这是某种近似值吗？我最初以为它是log(1−x)的泰勒级数展开，但它根本不是那样工作的。

Answer 1

这一层实现的损失不仅仅是交叉熵。该层实现 Sigmoid 激活，然后是交叉熵损失。这允许在数值上更稳定地实现损耗。

有关详细信息，请参阅此线程。 还有这个线程。