神经网络陷入局部极小值



我目前正在尝试创建一个自己的神经网络。我已经设法让网络在一定程度上工作,但据我所知,当我运行程序时,我似乎陷入了局部最小值,或者至少由网络吐出的输出似乎正在以非常非常缓慢的速度变化。当我在隐藏层中添加更多节点时,速度改变了/或者我得到了更好的输出,有人可以建议或者看看我的代码,看看为什么它不能在隐藏层中使用2个节点。为什么我必须在隐藏层中添加更多的节点才能获得体面的mse。

提前谢谢你。

这是2个节点的100000次迭代结束时的mse:

0.07402
0.07402
0.07402

等等。正如你所看到的,mse应该在0.001左右,但它相当高。

链接到代码!

好了,我解决了它所需要的是偏见使用这个链接来帮助自己编写代码。链接!

最新更新