如何在pyspark中解决(java.lang.ClassNotFoundException：com.mongodb.spark.sql.DefaultSource.DefaultSource)我正在

Question

使用Pycharm，我得到了以下错误：java.lang.ClassNotFoundException: com.mongodb.spark.sql.DefaultSource.DefaultSource如何解决此问题？

我尝试过：

spark = SparkSession.builder.config("spark.jars", "/Users/diwakarkumar/spark-2.4.6-bin-hadoop2.7/jars/").appName(
"my_job").master("local[*]").getOrCreate()

我还尝试设置jar的类路径。bash_profile:

export CLASSPATH=~/my_jars/

我在my_jars中有很多罐子，但仍然没有让它发挥作用。我总是犯同样的错误。

Answer 1

在spark.jars 中提供逗号分隔的jarfiles而不是目录路径

spark = SparkSession.builder.config("spark.jars", "/Users/diwakarkumar/spark-2.4.6-bin-hadoop2.7/jars/jar1,/Users/diwakarkumar/spark-2.4.6-bin-hadoop2.7/jars/jar2").appName(
"my_job").master("local[*]").getOrCreate()

或者，您也可以使用软件包选项。