在GCLOUD机器上创建大型矩阵时的内存错误,但不会在慢速MAC上创建大型矩阵



我需要创建一个大型的numpy矩阵来存储处理的图像(29316个图像,高度/宽度为288/512和3个彩色通道)。我在慢速Mac计算机上执行此行没有问题,但是在尝试在Google Cloud Machine上执行它时,我会得到一个" MemoryError"(8 VCPU,64 GB内存)。GPU是特斯拉K80。这是怎么可能的,我该怎么办才能解决?

   x = np.zeros((29316, 288, 512, 3))

要创建此数组,您正在创建29316*288*512*3=12968460288数字。

假设每个数字都使用8B(64bits),您至少需要103747682304B。这等于103747682304B=101316096KB=98941.5MB=96.622558594GB

所以,如果我不犯一些错误,我想知道如何在 slow mac计算机上执行此命令?

最新更新