空间变换网络如何学习适当地变换图像



看完这篇文章后,我有点理解了网络是如何转换图像的;然而,我不知道它实际上是如何学习哪个方向对后续的分类步骤有帮助的。

几乎在文章和PyTorch的STN教程的结尾,他们展示了STN如何旋转和翻译图像以获得更好的分类性能。

它仅仅基于一套训练吗?比如,如果大多数图像倾向于具有特定的方向,比如旋转20度,那么网络会学习旋转未旋转的图像吗?

如果大多数图像倾向于某个方向,比如旋转20度,那么网络会学习旋转未旋转的图像吗

图像将不会学习旋转0度,因为STN不知道哪一个方向对人类来说可能是正确的(正确的(方向。STN部分根据网络整体精度的提高来确定正确的方向。

所以,是的,你是对的。如果人类通过保持图像旋转20度来注释大多数图像,并说这些图像是正确的基本事实,那么最终STN应该推广到20度,因为在这种情况下,网络模型将在目标函数中显示最小损失(或换句话说,最大准确度(分数。

最新更新