安装带有GPU的spark nlp

Question

我是pyspark和spark-nlp的新手，我想在WSL-2 Windows 10上使用支持GPU的docker容器中的spark-nlp。安装spark-nlp后，我可以使用预训练的模型和管道，但CPU和GPU的速度没有区别。英伟达smi显示该模型已加载到GPU内存中。你能告诉我我必须安装什么版本的库吗？或者这是什么问题。

感谢

Answer 1

根据您启动会话的方式，您有两个在Spark NLP上设置GPU的选项，

import sparknlp
spark = sparknlp.start(gpu=True)

或者通过这个

spark = SparkSession.builder 
.appName("Spark NLP")
.master("local[*]")
.config("spark.driver.memory","16G")
.config("spark.driver.maxResultSize", "0") 
.config("spark.kryoserializer.buffer.max", "2000M")
.config("spark.jars.packages", "com.johnsnowlabs.nlp:spark-nlp-gpu_2.12:4.2.2")
.getOrCreate()

此外，GPU的使用将取决于您使用的模型和数据集大小。所以不要指望自动加速。