我正在尝试使用Spark-Submit执行Spark应用程序。
c:temp>spark-submit --master yarn ./SparkExamples.jar --class com.examples.WordCount
Error: No main class set in JAR; please specify one with --class
Run with --help for usage help or --verbose for debug output
主类文件存在于JAR文件中。我还检查了一个清单。
清单 - 1.0
主级:com.examples.wordcount
我缺少什么?
尝试提供 - class参数。/sparkexamples.jar
spark-submit --master yarn --class com.examples.WordCount ./SparkExamples.jar
如果将多个罐子作为依赖项包含,请确保它们是逗号分隔的没有空格。花了一段时间来弄清楚,但这是我的问题,错误消息与有用的相反,因为班级名称显然已经存在。
这是下面的示例。
示例代码导致错误:
spark-submit --jars jar1.jar, jar2.jar
--class ClassName
jar3.jar param1 param 2
示例代码已修复:
spark-submit --jars jar1.jar,jar2.jar
--class ClassName
jar3.jar param1 param 2