epoch和计算训练集神经网络的均方误差



我的问题是关于神经网络训练。我已经搜索过了,但没有很好的解释。

那么对于第一个问题,如何计算均方误差呢?(我知道这很傻,但我真的不明白)

第二:当神经网络进行训练时,我们输入一个由许多对组成的训练集(输入和它想要的输出)。现在我们应该什么时候计算均方误差?当我们已经把所有的鞋都穿好了吗?还是我们为每一对计算它?

如果是针对每一对,那么在训练集中的所有对之前,当误差达到最小期望误差时,就有可能。

第三:对于训练集的一个循环,epoch值是否增加?还是当每对(输入和所需输出)被占用时,它会增加?(我知道这又是一个愚蠢的行为,但请耐心等待)

非常感谢

y的问题是关于神经网络训练的。我已经搜索过了,但没有很好的解释。

网络上有几十种很好的解释,在文献中,一个这样的例子可能是Haykin的书:神经网络和学习机

那么对于第一个,如何计算均方误差?(我知道这很傻,但我真的不明白)

在最简单的术语中,均方误差被定义为

sum_i 1/n (desired_output(i) - model_output(i))^2

因此,您只需计算误差平方的mean(您的输出和所需输出之间的差异)。

现在我们应该什么时候计算均方误差?当我们已经把所有的鞋都穿好了吗?还是我们为每一对计算它?

两种方法都使用,一种称为批量学习,另一种是在线教学。因此,接下来的所有问题都有答案"两者都是正确的,这取决于你是使用批量学习还是在线学习"。选择哪一个?显然,这取决于情况,但为了简单起见,我建议从批量学习开始(因此,您可以计算所有训练样本的误差,然后更新)。

如果我们使用在线训练进行训练,并且在训练集中的所有数据项都被覆盖之前误差达到最小值,那么我们跳过该值的权重更新,继续到下一个训练数据,即我们确保在退出训练之前完成一个历元

最新更新