我正在训练CNN模型，以进行简单的分类任务(猫或狗(。当学习率为0.005时，该模型不会学习(所有时期的验证损失为0.5(。我将学习率更改为0.001，并且该模型开始学习(验证损失开始减少，并在24日时汇聚(。有什么想法为什么改变学习率会导致这种差异？
学习率表示(简单地(您的模型将如何更改其认为识别样本很重要的功能。因此，如果您的学习率太高，它可能会经常更改这些关键功能，而根本不会学习，因为它放弃了一个重要的功能，因为学习率太高，并且告诉模型可以转向其他功能。在您的情况下，您的学习率太高了。
它通常具有起始价值，但是它具有降低的功能，随着学习过程的向前发展，它将降低学习率，因此您也应该检查一下，如果您的学习率被卡在某种程度上。由于所有这些，学习率是您网络优化的参数，需要调整才能是最佳的。
关于随机梯度下降的Wikipedia文章显示了整个优化过程中学习率在哪里进行的，您应该检查一下。