org.apache.spark.SparkException:Python工作程序意外退出(崩溃)



Spark新手。只是想做一个简单的单词计数程序,但在最后一步计数。take(10(,得到下面的错误。

input_file=sc.textFile("C:/Users/abhishek.vij/Desktop/abhi.txt")
map = input_file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1))
counts = map.reduceByKey(lambda a, b: a + b)
counts.take(10)

19/10/26 21:14:42错误执行程序:阶段0.0中任务1.0出现异常(TID 1(org.apache.spark.SparkException:Python工作程序意外退出(崩溃(

val counts = input_file.flatMap(line => line.split(" ")
).map(word => (word,1)).reduceByKey(_+_) counts.collect 

我认为这将为你工作

最新更新