如何在Windows中的Ipython Jupyter笔记本中添加Spark-CSV-Master

Question

我正在使用apache-spark和ipython，并尝试将CSV文件加载到笔记本中。但是我遇到了错误： Py4JJavaError: An error occurred while calling o22.load.
在搜索时，我发现通过加载spark-csv，这将解决。我想知道如何在Windows中的笔记本电脑中加载Spark-CSV，并且还可以告诉我另一种解决此错误的方法。我上传了错误的屏幕截图。

py4jjavaerror errorpic 2

Answer 1

我也有同样的问题。这是我修复的方式。我使用了Anaconda 3.5 Jupyter笔记本和Windows 10：

import os
import sys
SUBMIT_ARGS = "--packages com.databricks:spark-csv_2.11:1.4.0 pyspark-shell"
os.environ["PYSPARK_SUBMIT_ARGS"] = SUBMIT_ARGS
spark_home = os.environ.get('SPARK_HOME', None)
if not spark_home:
    raise ValueError('SPARK_HOME environment variable is not set')
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'C:/spark/python/lib/py4j-0.9-src.zip'))
exec(open(os.path.join(spark_home, 'C:/spark/python/pyspark/shell.py')).read()) # python 3

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load('C:/spark_data/train.csv')
df.show()