我已经创建了spark-scala(版本2.11(应用程序,并尝试使用IntelliJ使用maven(版本-3(进行构建。第一次,能够成功地使用maven编译和构建jar,并且能够在集群上使用jar测试spark应用程序。下一次,我修改了一些现有的scala类代码,并尝试再次构建,代码编译并成功生成了jar文件,没有任何问题,但在最新的jar文件中没有scala类。我想知道为什么maven构建在构建时不生成类文件。你能告诉我可能是什么问题吗?我该怎么解决?
为spark构建scala应用程序的最简单方法是使用SBT和fat-jar插件。细节已经在那里描述过了:
如何在IntelliJ IDEA中使用SBT构建Uber JAR(Fat JAR(?
只是不要忘记将火花罐从提供的脂肪罐中排除。