在张量流中使用分布式多GPU推理的最佳方法是什么?



我是Tensorflow的新手,我正在研究将测试图像分发到多个GPU。我阅读了很多堆栈溢出答案和github示例,我认为可能有两种方法可以做到。

1(使用tf.fifoqueue((馈送每个GPU图像,但是在许多答案中不建议将队列(由于新的tf.data api(。而且它有一些问题(https://github.com/tensorflow/tensorflow/issues/8061(

2(使用TF.DATA API。我不确定此API是否支持GPU。在本期(https://github.com/tensorflow/tensorflow/issues/13610(中,似乎使用tf.data api输入管道无法支持GPU喂食。

分布式TensorFlow不在我的考虑之内(因为我们的模型和服务器规模不大(

如果有人可以给我任何建议,我将非常感谢。

使用tf.datatf.data API旨在替换几乎所有队列功能,并使一切变得更容易,更具性能。

它也可以将数据馈送到GPU。您链接到的第二个问题只是说预处理不会在GPU上进行,但是数据将在CPU上处理,然后发送到您的多个GPU。

最新更新