在同一个IDE中使用Spark和Python

Question

我在Mac上使用Spyder（Anaconda）进行Python开发。我还在我的机器上安装了PySpark，我从终端使用它。是否可以在Spyder中同时使用这两种方法，或者以某种方式将spark上下文导入到我的python 2.7中？

Answer 1

是的，可以只安装

pip install findspark

然后运行

findspark.init()

https://stackoverflow.com/a/34763240

然后尝试导入pyspark，如果它有效，那么就好，否则将pyspark添加到pythonpath&重试

# Add the PySpark classes to the Python path:
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH