在使用预训练模型时，我需要gpu吗

Question

我已经在使用Google Colab来训练我的模型了。所以我不会使用我自己的GPU进行训练。我想问，在使用预训练模型时，GPU和CPU之间是否存在性能差异。我已经用谷歌Colab GPU训练了一个模型，并与我自己的本地CPU一起使用。我应该使用GPU进行测试吗？

Answer 1

这取决于你需要做多少预测。通常在训练中，你要做很多计算，因此GPU的并行化缩短了整体训练时间。通常，当使用经过训练的模型时，您只需要按时间单位进行稀疏预测。在这种情况下，CPU方法应该是可以的。然而，如果你需要在训练期间做尽可能多的预测，那么GPU将是有益的。当你的模型必须适应不断变化的环境输入时，强化训练尤其如此。