火花如何从包装罐中喜欢上课

Question

我正在使用SBT组装插件来创建一个胖罐。我需要一些漏洞，这些罐子是默认的Hadoop/Spark的一部分，但具有较新的版本。

我希望Spark Worker JVM更喜欢用我的Fat Jar文件打包的版本，而不是默认的Hadoop/Spark Distibstion。我该怎么做？

Answer 1

解决方案是设置spark。这将首先包括来自Uber Jar的罐子，然后包括Spark Class Path。

其他解决方案是在SBT组件中使用阴影。并在我们的Uber罐子中遮蔽罐子，其以前的版本与Spark一起包含。