Spark AttributeError："SparkContext"对象没有属性"map"

Question

我在Hortonworks数据平台2.2上使用Spark，我收到以下错误。。。有什么想法吗？

#!/usr/bin/env python
import sys
import pyspark
from pyspark import SparkContext
if 'sc' not in globals():
    #sc = SparkContext('local[4]', 'pyspark','map')
    sc = SparkContext(appName="PythonKMeans")
nums = sc.map([23,232,1,232,43,43])
squared = nums.map(lambda x: x*x).collect()
for num in squared:
    print num

Answer 1

而不是

nums = sc.map([23,232,1,232,43,43])

尝试

nums = sc.parallelize([23,232,1,232,43,43])

这个命令告诉Spark在集群上分配序列，并从中创建一个RDD。然后，您可以在RDD上使用lambda函数调用map，就像在下一行中所做的那样。