训练神经网络时，训练数据、计算激活和模型参数存储在哪里？

Question

我搜索了很多，但找不到任何准确的答案。一些网站说，模型参数和培训数据存储在RAM上，需要在需要时获取，但不会使培训过程降低。另外，如果要将参数存储在GPU上，为什么要训练一个消耗我所有GPU内存的模型？谢谢。

Answer 1

是的，它们存储在系统或gpu ram中（它们还能存储在哪里？）。

例外可能是培训数据，如果它不适合RAM，则使用批处理培训，并且一次仅将一部分培训数据（一批或几批）存储到RAM中。