ClassNotFoundException Spark提交纱线

Question

我有一个火花程序(scala(。

i运行命令组件以获取jar。

我将jar放在 hdfs群集上(所以罐子实际上在服务器上(

我运行命令jar -tvf以确保我的主类在JAR中(并且是：com/mycompany/MyMainClass.class

我尝试在群集的服务器上运行以下命令 ./hadoop/spark/bin/spark-submit --class com.mycompany.MyMainClass --master yarn project.jar

我有一个错误：

Failed to load com.mycompany.MyMainClass.
java.lang.ClassNotFoundException: com.mycompany.MyMainClass

有人可以帮我吗？

Answer 1

将整个路径放在jar参数中https://spark.apache.org/docs/latest/submitting-applications.html

Answer 2

这是因为Scala中的SBT组装，这是我的正确Mergestrategy

`assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case _ => MergeStrategy.first
}`