无法分配数组形状的内存来创建强化学习模型

Question

我正在尝试为mario环境创建一个DQN模型。但当我试图创建模型时，它会给我一个错误：

内存错误：无法分配229。GiB用于具有形状(1000000、1、4、240、256(和数据类型uint8 的阵列

这是创建模型的代码：

model = DQN('CnnPolicy', env, verbose=1, tensorboard_log=LOG_DIR, learning_rate=0.000001)

我在这个项目中使用Jupyter笔记本。

Answer 1

看起来你根本没有足够的RAM来为这样大的数组分配229GiB——这是非常大的——很少有计算机能做到。

你有没有试过把你的想法分成64、128、256等一批。？这是减少内存负载的一种非常常见的方法，您可以使用不同的值进行实验，看看您可以处理什么计算。Tensorflow有很多内置方法可以在这里为您提供帮助。一个可以查看的地方是这里的批处理方法。