使用GPU训练ResNet模型时发现OMM错误

Question

我正在4GB的NVidia GeForce GTX 1050 ti上训练ResNet，图像大小为512x320，使用6作为批量大小，这不是很好。

显示此错误：

(1) Resource exhausted: OOM when allocating tensor with shape[6,128,256,160] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc

我试图理解张量参数，第一个(6(显然是历元的数量，第三个和最后一个(256160(是图像的维度除以2。

我很困惑，是不是GPU没有使用整个内存？

Answer 1

即使GPU有内存，也会发生这种情况，我不知道原因，但。。。继续减少批量大小，直到它不能解决这个GPU问题。