神经网络中的神经元在哪里共享它们的预测结果(学习函数)?



绝对是一个菜鸟NN问题,但这里是:

我知道神经网络层中的神经元都使用不同的(本质上是随机的(输入特征权重进行初始化,以此来改变它们的反向传播结果,以便它们可以收敛到描述输入数据的不同函数。然而,我不明白这些神经元何时或如何生成独特的函数来描述输入数据,就像在集成ML方法中所做的那样(例如,通过种植具有随机初始决策标准的树林,然后确定森林中最具辨别性的模型(。在树系综示例中,所有树协同工作以概括每个模型学习的规则。

神经元如何、何地以及何时传达其预测功能?我知道单个神经元使用梯度下降来收敛到各自的功能,但它们是独一无二的,因为它们以独特的权重开始。他们如何传达这些差异?我想在发生这种通信的输出层中组合神经元结果会有一些微妙的行为。另外,这种沟通是迭代训练过程的一部分吗?

评论区(https://datascience.stackexchange.com/questions/14028/what-is-the-purpose-of-multiple-neurons-in-a-hidden-layer(有人问了类似的问题,但我没有看到答案。

帮助将不胜感激!

在传播过程中,每个神经元通常参与在下一层的多个神经元中形成值。在反向传播中,这些下一层神经元中的每一个都会尝试推动参与神经元的权重,以尽量减少误差。差不多就是这样。

例如,假设您正在尝试让 NN 识别数字。假设隐藏层中的一个神经元开始获得识别垂直线的想法,另一个神经元开始寻找垂直线,依此类推。负责寻找1的下一层神经元会看到,如果它想要更准确,它应该非常关注垂直线的家伙;而且霍里森塔尔线的家伙越喊越不是1.这就是权重:告诉每个神经元它应该多么关心它的每个输入。反过来,垂直线的人将学习如何通过调整其输入层的权重(例如单个像素(来更好地识别垂直线。

(不过这很抽象。没有人告诉垂直线的人他应该识别垂直线。不同的神经元只是针对不同的事情进行训练,并且由于涉及数学,它们最终会选择不同的特征。其中一个可能最终是垂直线,也可能不是垂直线。

同一层上的神经元之间没有"通信"(在基本情况下,层从一个层线性流向下一个层(。这完全是关于一层上的神经元在预测下一层发现有用的特征方面变得更好。

在输出层,1的人可能会说"我72%确定这是一个1",而7的人可能会说"我给那个7B+",而第三个可能会说"一个可怕的3,不会看两次"。相反,我们通常要么接受谁最响亮的话,要么对输出层进行归一化(除以所有输出的总和(,以便我们有实际的可比概率。然而,这种规范化实际上并不是神经网络本身的一部分。

最新更新