有没有一种方法可以使用GPU的全部内存进行CUML计算



我是RAPID AI世界的新手,我决定第一次尝试CUML和CUDF。我在WSL2上运行UBUNTU 18.04。我的主要操作系统是Windows 11。我有一个64 GB的RAM和一台笔记本电脑RTX 3060 6 GB的GPU。

在我写这篇文章的时候,我正在对一个CUDF数据帧进行TSNE拟合计算,该数据帧由大约26000个值组成,存储在7列中(所有值都是数字或二进制值,因为分类值是一个热编码的(。虽然像LogisticRegression或SVM这样的分类器真的很快,但TSNE似乎需要一段时间才能输出结果(现在已经一个多小时了,即使数据帧没有那么大,它仍在继续(。任务管理器告诉我100%的GPU被用于计算;nvidia smi";在windows powershell上,该命令返回当前总共6 GB中只有1.94 GB在使用。这对我来说似乎很奇怪,因为我读过关于RAPID AI的TSNE算法比标准scikit学习算法快20倍的论文。

我想知道是否有办法增加专用GPU内存的百分比来执行更快的计算,或者这只是与WSL2有关的问题(可能它将GPU的使用限制在2GB(。

有什么建议或想法吗?非常感谢

任务管理器告诉我100%的GPU用于计算

我不确定Windows任务管理器是否能够告诉您计算所实现的GPU吞吐量。

"nvidia smi";在windows powershell上,该命令返回当前总共6 GB中只有1.94 GB在使用

内存利用率的计算与GPU吞吐量不同。任何GPU应用程序都只会使用所请求的内存,并且更高的内存使用率和更高的吞吐量之间没有相关性,除非该应用程序特别提到了通过使用更多内存可以实现更高吞吐量的方法(例如,用于相同计算的不同算法可能会使用更多内存(。

TSNE似乎需要一段时间才能输出结果(现在已经一个多小时了,即使数据帧没有那么大,它仍在继续(。

这看起来很奇怪,不是小数据集的预期行为。您正在使用哪个版本的cuML,适合任务的method参数是什么?您是否也可以在www.github.com/rapidsai/cuml/issues上打开一个问题,提供访问数据集的方法,以便重现该问题?

相关内容