我正在尝试在Python中初始化Spark Context变量。
from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("test").setMaster("local")
sc = SparkContext(conf=conf)
但是我收到以下错误：
py4j.protocol.Py4JJavaError：调用时出错 None.org.apache.spark.api.java.JavaSparkContext. ： java.lang.NoClassDefFoundError： 无法初始化类 org.apache.spark.internal.config.package$
at org.apache.spark.SparkConf.validateSettings(SparkConf.scala：546) 在org.apache.spark.SparkContext。(SparkContext.scala：373) at org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala：58) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java：62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java：45) at java.lang.reflect.Constructor.newInstance(Constructor.java：423) at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java：247) at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java：357) 在 PY4J。Gateway.invoke(Gateway.java：236) at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java：80) at py4j.command.ConstructorCommand.execute(ConstructorCommand.java：69) 在 PY4J。GatewayConnection.run(GatewayConnection.java：214) at java.lang.Thread.run(Thread.java：748)
我已经四处寻找解决方案，但没有得到确切的解决方案。请帮忙。
将环境变量设置为本地主机SPARK_LOCAL_IP解决了我的错误。
你有这个套装吗？
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
同样可以肯定的是，将 spark 目录中的 py4j zip 路径(我的是 py4j-0.10.1-src.zip)添加为：
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.1-src.zip:$PYTHONPATH
请尝试将 master 称为"local[*]"，而不仅仅是"local"。