深度学习虚拟机:如何释放RAM

Question

我是GCP和深度学习VM的新手。我得到它是为了训练一些深度学习模型。在谷歌云jupyter笔记本电脑中训练时，它崩溃了，因为它无法将输入张量从GPU复制到CPU：特别是：

InternalError: Failed copying input tensor from /job:localhost/replica:0/task:0/device:GPU:0 to /job:localhost/replica:0/task:0/device:CPU:0 in order to run TensorDataset: Dst tensor is not initialized. [Op:TensorDataset]

经过研究，当GPU中没有足够的内存时，就会发生这种情况。我检查了我的内存，在初始化虚拟机一个小时后，我的RAM就满了95%。我不知道这是怎么发生的。我该如何释放这些内存？

Answer 1

发现即使在python脚本终止后，GPU中的内存仍然存在。运行nvidia-smi以查看是否有python进程占用GPU内存，如果是，则运行pkill -9 python以终止python的所有相关内存和进程。