尽管有更好的GPU,但在谷歌Colab上的训练比在本地机器上慢——为什么



我有一个DL模型要训练,由于数据很大,我将其存储在谷歌磁盘上,并在每次会话开始时将其安装到谷歌Colab实例中。然而,我注意到,在谷歌Colab上用完全相同的脚本训练完全相同的模型比在我的个人笔记本电脑上慢1.5-2倍。问题是,我检查了谷歌Colab GPU,它有12GB RAM(我不确定如何检查确切的型号(,而我的笔记本电脑GPU是RTX 2060,只有6GB RAM。因此,作为Google Colab的新用户,我一直在想原因是什么。这是因为用torch DataLoader从Google挂载的磁盘加载数据会减慢进程吗?或者这可能是因为我的个人硬盘是SSD,而Google Colab可能没有SSD连接到我的实例?如果我没有对谷歌Colab设置做任何减慢训练速度的事情,我该如何进一步验证?

Google合作伙伴的资源是动态分配给用户实例的。与长时间运行的数据加载相比,短时间的交互式过程更受欢迎,并且过程的进一步信息可以在文档中找到:

https://research.google.com/colaboratory/faq.html#resource-限制

具体引用自上述链接

"GPU和TPU有时会优先用于交互式使用Colab的用户,而不是长期运行的计算,或者最近在Colab中使用较少资源的用户。。。因此,使用Colab进行长时间计算的用户,或者最近在Colab中使用了更多资源的用户,更有可能遇到使用限制";

最新更新