我有一个大约有100个数值的数据集。我已经将我的神经网络的学习率设置为0.0001。我已经在数据集上成功地训练了100多万次。但我的问题是，神经网络中非常低的学习率会产生什么影响？
低学习率主要意味着收敛缓慢：您正在以较小的步长向下移动损失函数(步长是学习率(。如果你的函数是凸的，这不是问题，你会等待更多，但你会得到一个好的解决方案。
如果像深度神经网络的情况一样，你的函数不是凸的，那么低的学习率可能会导致达到一个"好"的最优值，而不是最好的最优值(陷入局部最小值，而没有跳出来所需的步骤(。
这就是为什么有不同的优化算法是自适应：这样的算法，如ADAM、RMSProp。。。对于网络中的每个权重具有不同的学习率(每个单个学习率从相同的值开始(。通过这种方式，优化算法可以独立地处理每个参数，目的是找到更好的解决方案(并使初始学习率的选择不那么关键(