反向传播的数量作为神经网络的性能指标



我一直在阅读有关SRCNN的文章,发现他们正在使用"反向传播的数量"来评估网络的性能,即在x反向传播之后能够学习什么网络(据我所知)。我想知道反向道具的数量实际上意味着什么。这只是训练期间使用的训练数据样本数吗?或者也许是小批量的数量?也许它是前面的数字之一乘以网络中可学习参数的数量?还是完全不同的东西?也许还有其他一些更常见的名称,我可以在某处循环并阅读更多相关信息,因为我无法通过搜索"反向传播数量"或"反向传播数量"找到任何有用的东西?

奖励问题:这个指标的使用范围有多广,效果如何?

我读了他们2016年的论文:

  • 作者={C. Dong and C. C. Loy and K.他和唐旭东},
  • journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  • title={使用深度卷积网络的图像超分辨率},

由于他们甚至没有提到批次,我假设他们正在进行反向传播以在每个样本/图像后更新它们的权重。

换句话说,它们的批次大小(迷你批量大小)等于 1 个样本。

因此,反向传播的数量毕竟意味着批次的数量,这是一个相当常见的指标,即在论文中PSNR(损失)超过批次数量(或通常是周期的损失)。

额外问题:我得出的结论是,他们只是没有坚持机器学习或深度学习的常见词库。

BonusBonus 问题:他们使用 n 批后的损失指标来展示不同网络架构在不同大小的训练数据集上可以学习多少。

我假设 After 它意味着网络在反向传播 n 次后学会了多少。它更有可能与"训练超过 n 个样本后......"互换。

如果他们使用循环网络,这可能会有点不同,因为他们可以在前向 prop 中运行更多样本,然后在后向 prop 中运行。(无论出于何种原因,我都无法加载论文的链接,所以不确定)。

根据你的问题数量,我认为你可能想多了这个:)

反向传播的数量不是常用的指标。也许他们在这里使用它来展示基于他们正在使用的任何优化方法的训练速度。但对于大多数常见情况,它不是一个相关的指标。

相关内容

  • 没有找到相关文章

最新更新