Spark提交失败，返回代码13，例如wordCount

Question

我的spark-submit命令是：

spark-submit --class com.sundogsoftware.spark.WordCountBetterDataset --master yarn --deploy-mode cluster SparkCourse.jar

为了定义sparkSession，我使用了这个：

val spark = SparkSession
.builder
.master("spark://youness:7077")
.appName("WordCount")
.getOrCreate()

但最后，我的工作失败了，返回代码为13。

Answer 1

您需要在代码中取消设置master。最好稍后在发出spark-submit(spark-submit --master yarn-client ...(时设置它，并且您已经在执行上述操作。只需从代码中删除.master("spark://youness:7077")即可。