使用RAPID安装apache spark GPU



对不起,我是世界火花的新手,我应该把它安装在一个有2个nvidia AMPERE GPU的节点的集群上,我发现在install Spark段落中的nvidia链接中写道:";请注意,加速器目前只支持scala版本2.12">

我想安装Spark 3.3的最新版本,它支持我所看到的2.13级,但我只会使用python。我不明白的是,如果这个NVIDIA插件只支持scale 2.12,而其他编程语言的所有其他版本都支持,因此我在GPU上运行python没有问题,我只能使用scale和2.12版本。能够使用GPU,因此python不可能使用它?

谢谢

此问题已在此处解决:https://github.com/NVIDIA/spark-rapids/discussions/6739有一个允许您同时使用两个GPU的脚本,它与一个单节点独立集群一起使用,可以在这里找到:https://github.com/NVIDIA/spark-rapids/discussions/6739#discussioncomment-3830105

最新更新