我正在尝试在本地执行spark-submit,
spark-submit --master local --executor-cores 1 --queue default --deploy-mode client test.py
但是得到错误
py4j.protocol.Py4JJava错误:调用时出错None.org.apache.spark.api.java.JavaSparkContext.:java.lang.NoSuchFieldError:java_9
我使用的是python 3.8和pyspark 3.0.1,对于java,我有Open JDK 1.8
当我试图通过sc._jvm调用本地jar时,也遇到了同样的错误。在我的情况下,我通过恢复到早期版本的pyspark(2.4.3(来使其正常工作。
我也在使用python 3.6.8-我在python 3.8的pyspark 3.0.1中出现了不同的错误。