我需要在前馈神经网络中获得局部最优。我需要一个例子和权重的初始化，使用最陡的梯度下降将陷入局部最优(在每个维度的特定边界权重内)。我找不到这样的例子，至少看起来是这样，因此无法测试新算法。
谁能指出一些文档，资源，或提供给我一个例子，如何陷入局部优化
让我们分析一下"陷入局部最优"是什么意思。看看SARPROP的论文吧。SARPROP是一种前馈神经网络的学习算法，它的目标就是避免陷入局部最优。请查看链接文档第3页上的图1。它显示了关于的单个权值的误差曲面。在训练的早期阶段，这个误差面会很快改变。但只要算法接近收敛，这个关于一个权值的误差曲面就会稳定下来。现在，如果你的学习算法无法将权重"推"过"山"以达到更好的最优值，那么你就陷入了关于某个权重的局部最优。SARPROP试图通过在原始RPROP中涉及的权重更新中添加正噪声来解决这个问题。因此，该算法有机会被推出这样的"谷"。
现在，为了构造局部最优的收敛性，你应该计算一组随机权重，这些权重在下面保持固定。现在使用一种学习算法，它可以快速收敛于局部最优，比如RPROP。然后使用相同的权重初始化并应用SARPROP或您的新算法。然后在网络收敛后比较训练数据的均方根误差。使用数百个权重初始化并应用统计信息来执行此操作。