在单个样本的培训数据上过度拟合我的模型

Question

我试图将我的模型超过仅由单个样本组成的训练数据。训练准确性为1.00。但是，当我预测由同一单个训练输入样本组成的测试数据的输出时，结果不准确。该模型已经接受了100个时期的训练，损失〜1E-4。可能的错误来源是什么？

Answer 1

如您的帖子评论中所述，不可能提供具体建议的情况，而无需您首先提供更多详细信息。

一般而言，您过度适合微小批次的方法（在您的情况下，一个图像）本质上提供了三个理智检查，即：

1. Backprop正在运行
2. 重量更新正在完成他们的工作
3. 学习率的数量级正确

正如斯坦福大学CS231N课程第5座的Andrej Karpathy所指出的那样 - "如果您不能在很小的批处理大小上过度配合，那么事情肯定会损坏了"。

这意味着，鉴于您的描述，您的实施不正确。我将首先检查上面列出的这三个点。例如，通过选择几个不同的图像或5张图像的BTACH大小而不是一个图像，以某种方式更改测试。您也可以修改您的predict function，因为那是肯定存在一些差异的地方，因为您在训练过程中遇到了零错误（因此验证了吗？）。