我的 CNN 模型在我的 GPU 上使用太多内存.如何在 CPU 内存上托管一些张量?

Question

我正在NVidia RTX 2080上训练CNN模型，它变得越来越大，我现在对卡有一些内存问题。我读了一些关于这个主题的论文，似乎可以使用 Tensorflow 在训练期间在 CPU 内存上托管一些节点，并在以后需要时将其检索到 GPU 内存中(如 http://learningsys.org/nips17/assets/papers/paper_18.pdf(。

任何想法/文档/示例？

谢谢！

Answer 1

没有任何代码，很难提供帮助。 通常，您可以查看文档。

例如：

with tf.device('/cpu:0'):
a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')

您可以在 CPU 上显式创建变量。