Softmax层和神经网络的最后一层



我怀疑假设softmax层之前的最后一层有1000个节点,而我只有10个类可以分类 应该输出1000概率的softmax层如何输出1000个概率

1000 节点层的输出将是 10 节点层的输入。基本上

x_10 = w^T * y_1000

w的大小必须为1000 x 10.现在,softmax 函数将应用于x_10以生成 10 个类的概率输出。

你的理解是错误的!1000 个节点,将为每个示例输出 10 个概率,softmax 是一个激活函数!它将根据传入和传出的权重采用前一层的线性组合,无论如何,输出等于类数的概率数!如果您添加更多详细信息,例如举例说明您的神经网络是什么样子的,我们可以为您提供进一步的帮助,并更深入地解释,以便您了解正在发生的事情!

最新更新