为什么我们在softmax中使用(exp)而不是(log)

Question

我对log和exp的关系了解不多。但是，我很困惑，在softmax回归中没有使用log？

概率部分的特征

Answer 1

Exp是为所有实数定义的，而log不是。

任何等于或小于零的矢量元素都会导致数值错误或log函数的未定义行为。exp没有这个问题。

为了避免未定义，您可能需要在所有元素中添加一个非常小的偏差。但是这个ε应该有多小？你怎么处理负数。你可能永远不会期望一个负数，只是简单地通过截断错误或非常接近浮点表示（一个值太小，最终会被表示为一个小负数）。