如何修复运行"sc = SparkContext()"时的错误"TypeError: 'module' object is not callable"？

Question

我使用说明在Amazon AWS上安装了Pyspark：https://medium.com/@josemarcialportilla/getting-spark-park-python-and-jupyter-notebook-notebook-on-amazon-ec2-ec2-dec599e1c297

这很好：

Import pyspark as SparkContext

这给出了错误：

sc = SparkContext()
TypeError                                 Traceback (most recent call last)
    <ipython-input-3-2dfc28fca47d> in <module>
    ----> 1 sc = SparkContext()
    TypeError: 'module' object is not callable

Answer 1

pyspark是一个模块。您从pyspark导入SparkContext。

from pyspark import SparkContext

Answer 2

您可以做到这一点 -

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

Spark 2.0作为单个入口点具有火花。您不需要SparkConf，SparkContext或SqlContext，因为它们被封装在Sparksession中。

有关更多详细信息，请参阅pyspark.sql.sparksessiondocormaion。