我使用TF2研究对象检测API和来自模型动物园的官方模型。然而，当我尝试训练一个大型模型(例如一个更大的高效网络模型)和/或当我想使用一个大的批量大小(例如>32)然后我用完GPU内存。
现在我正在考虑租用一些云GPU或用第二个GPU升级我的本地硬件。我们的想法是在多个gpu上训练《军团要塞2》模型。然而，在我花钱之前，我想知道这是否能解决我的问题。
所以，当一个人(通过对象检测API)在多个gpu上训练一个TF2模型时，这也会"组合"吗?他们的内存，这样我就可以训练更大的模型和/或使用更大的批量大小?
您可以参考这篇文章使用多个GPU的训练。理想情况下，如果您使用多个gpu，您可以设置更高的批处理大小，而无需对代码进行最小更改。
然而，为了在多个GPU上分割一个大型模型，你将不得不做一些代码更改，你可以在这里参考
你可以在这里查看分布式训练的所有策略列表