经过大量训练后,神经网络的适应速度会变慢吗?



我是神经元网络领域的初学者,我想理解某个陈述。一位朋友说,在你输入大量数据后,神经元网络会变慢。

现在,我刚刚从androw ng那里完成了coursera ML课程。在那里,我实现了反向传播。我认为它只是通过使用不同类型的计算来调整与预期输出相关的模型。然而,这并不像历史被用来适应模型。只检查神经元的当前状态,并结合正则化向后调整它们的权重。

我的假设是正确的还是错的?是否有一些使用历史数据的库可能会在经过一定量的训练后导致模型慢慢适应?

我想使用一个简单的神经元网络进行强化学习,如果目标环境由于某种原因发生变化,我想了解是否需要重置我的模型。否则,我的模型在适应过程中会越来越慢。

感谢您提前提供任何链接和解释!

正如你所说,神经网络通过在反向传播步骤中修改它们的权重来适应。随着训练的进行,修改这些权重不会变慢,因为修改这些权重的步骤数将始终保持不变。通过模型运行示例所需的步骤量也将保持不变,因此不会根据您在训练期间输入的示例量来减慢网络速度。

但是,您可以决定在训练期间更改学习率(通常会随着年龄的进行而降低)。根据模型学习率的演变方式,权重将以不同的方式修改,通常会导致每个时期的差异较小。

最新更新