隐藏层的所有节点的输入都是相同的，那么它们在输出中是如何区分的呢

Question

我是深度学习的新手，试图理解隐藏层背后的概念，但我不清楚以下内容：

如果假设有3个隐藏层。当我们将第二层所有节点的输出作为第三层所有节点输入时，第三层节点的输出会有什么不同，因为它们得到了相同的输入+相同的参数初始化(根据我读到的内容，我假设一层的所有节点都得到了相同参数的随机权重(。

如果我想错了方向，请纠正我。

Answer 1

简单的答案是因为随机初始化。

如果通过神经网络(NN(从相同的权重开始，那么所有节点都将产生相同的输出。

这是因为当使用反向运算算法时，误差是基于每个节点的激活强度分布的。如果它们开始时相同，那么误差将均匀分布，因此神经网络中的节点将无法学习不同的特征。

因此，基本的随机初始化可以确保每个节点都是专门的。因此，在学习之后，即使输入相同，隐藏层中的节点也会产生不同的输出。

希望这能有所帮助。