torch.optim的一个奇怪问题:变量发生了变化，但旧变量和更新变量之间的差异显示为零

Question

我在PyTorch中调试更大的代码时偶然发现了一个相当奇怪的问题。重现该问题的简单实例如下：https://colab.research.google.com/drive/11kBaxMOxN9i0X1vtaX47Yz7rkkHz7Kpu

如您所见，变量 x 在每个纪元中都会更新(参见它们的范数不同(，但是，它们的差异范数 (rel_diff( 结果为零。任何帮助都深表感谢。

Answer 1

rel_dif

(change_in_x(的范围从~55到~400，你的所有结果对于神经网络来说都是非常典型的。

顺便说一句。下次发布您的代码时，指向 colab 的链接可能是额外的。请参阅最小可重现示例。