我应该在深度神经网络的最后一层之前的层中使用哪个激活函数?

Question

我有一个单标签multiclass的数据集。MNIST数据集。我想在这个数据集上建立深度神经网络分类器。很明显，最后一层的激活函数将是Softmax。但是我很好奇我应该在最后一层之前使用哪个激活函数(Relu, Sigmoid, tanh)。也请给出一个直观的背后。

Answer 1

您可以使用上述三种方法中的任何一种，甚至更多。尽管事实上，ReLu的计算速度比其他两个更快它的导数的计算速度也更快。这对神经网络的训练和推理时间产生了重大影响:只有一个常数因素，但常数可能很重要。然而，一般来说，选择ReLu的主要原因是它不太容易受到梯度消失问题的影响。