py4j.protocol.Py4JJavaError java.lang.NoSuchFieldError: JAVA



我正在尝试在本地执行spark-submit,

spark-submit --master local --executor-cores 1 --queue default --deploy-mode client test.py

但是得到错误

py4j.protocol.Py4JJava错误:调用时出错None.org.apache.spark.api.java.JavaSparkContext.:java.lang.NoSuchFieldError:java_9

我使用的是python 3.8和pyspark 3.0.1,对于java,我有Open JDK 1.8

当我试图通过sc._jvm调用本地jar时,也遇到了同样的错误。在我的情况下,我通过恢复到早期版本的pyspark(2.4.3(来使其正常工作。

我也在使用python 3.6.8-我在python 3.8的pyspark 3.0.1中出现了不同的错误。

相关内容

  • 没有找到相关文章

最新更新