Tensorflow - softmax 只返回 0 和 1

Question

我正在用张量流训练CNN，但我的损失没有改善;我注意到tf.nn.softmax()返回的张量只有 0 和 1，而不是我期望的分布。这是回购，我相信这就是我无法训练网络的原因，但我不知道如何解决。

Answer 1

查看神经网络下的第二个框：

# output layer
with tf.variable_scope('output_lay') as scope:
weights = weight_variable([4096, CLASSES])
bias = bias_variable([CLASSES], 0.)
activation = tf.nn.relu(tf.matmul(out, weights)+bias, name=scope.name)
out = tf.nn.softmax(activation)
return tf.reshape(out, [-1, CLASSES])

注意：ReLu激活仅用于隐藏层，而不用于输出层。

然后你把它喂给train函数中的交叉熵

logits=AlexNet(x_tr)
# loss function
cross_entropy = -tf.reduce_sum(tf.squeeze(y_tr)*tf.log(tf.clip_by_value(tf.squeeze(logits),1e-10,1.0)))
loss = tf.reduce_mean(cross_entropy)

重新审视交叉熵：

C= −1/n * (∑[y*ln(a)+(1−y)*ln(1−a)])

a = sigmoid(W(x)+b)的地方，所以我建议：

with tf.variable_scope('output_lay') as scope:
weights = weight_variable([4096, CLASSES])
bias = bias_variable([CLASSES], 0.)
return tf.matmul(out, weights)+bias

为简单起见，只需使用内置的softmax功能：

logits=AlexNet(x_tr)
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(labels=ground_truth_input, logits=logits)
loss = tf.reduce_mean(cross_entropy)

tf.nn.softmax_cross_entropy_with_logits吸收W(x)+b并有效地计算交叉熵。