我应该在谷歌云平台(GCP)上使用哪种GPU

Question

现在，我正在写硕士论文，我需要在GCP上训练一个巨大的Transformer模型。而训练深度学习模型最快的方法就是使用GPU。所以，我想知道我应该在GCP提供的GPU中使用哪个GPU ?目前可用的是:

• NVIDIA®A100
• NVIDIA®T4
• NVIDIA®V100
• NVIDIA®P100
• NVIDIA®P4
• NVIDIA®K80

Answer 1

这完全取决于你要寻找的是什么特征。

首先，让我们收集一些关于这些不同GPU模型的信息，看看哪一个最适合你。你可以谷歌每一款车型的名字，看看它的特点。我这样做了，我创建了下面的表:

<表类> 模型 FP32 (TFLOPS) 价格 TFLOPS/美元 tbody><<tr>Nvidia A10019.52.9339086.646425178Nvidia Tesla T48.10.3523.14285714Nvidia Tesla P45.50.69.166666667Nvidia Tesla V100142.485.64516129Nvidia Tesla P1009.31.466.369863014Nvidia Tesla K808.730.4519.4

Nvidia表示，使用最先进、最强大的gpu不仅速度更快，而且价格更低:https://developer.nvidia.com/blog/saving-time-and-money-in-the-cloud-with-the-latest-nvidia-powered-instances/

Google也得出了类似的结论(这是几年前在A100上市之前):https://cloud.google.com/blog/products/ai-machine-learning/your-ml-workloads-cheaper-and-faster-with-the-latest-gpus

我猜你可能会说英伟达和谷歌在做出这个判断时都有点偏见，但他们也很有能力回答这个问题，我认为没有理由不相信他们。