在训练时对验证集进行小批量处理的正确方法是什么

Question

我正在训练一个神经网络。对于训练，我会获得80%的数据，并将其划分为多个小批量。我对每个小批量进行训练，然后更新参数，直到访问所有数据。我把整个过程重复了好几个时期。

问题是关于剩余的10%+10%的数据：在这个过程中如何更改验证集？我是否也应该为验证集使用旋转小批量？

Answer 1

我认为这个问题在这里或多或少得到了回答：batch_size对验证的意义是什么？

由于不再训练模型，因此不会影响结果。换句话说，由于在使用验证集验证模型时不应用Mini-Batch Gradient Descent，因此这并不重要。不过，它可能会对记忆产生影响。