如何将火花示例编译成罐子



所以我正在编辑movielensals.scala和我只想用我的修改后的movielensals.scala重新编译示例jar。

我使用了build/mvn -pl :spark-examples_2.10 compile,其后是build/mvn -pl :spark-examples_2.10 package,该CC_2正常完成。我有 SPARK_PREPEND_CLASSES=1 set。

但是,当我使用bin/spark-submit --class org.apache.spark.examples.mllib.MovieLensALS examples/target/scala-2.10/spark-examples-1.4.0-hadoop2.4.0.jar --rank 5 --numIterations 20 --lambda 1.0 --kryo data/mllib/sample_movielens_data.txt重新运行MovieLensals时,即使我添加到MovielenSals中的所有内容。Scala是一个println,说这是修改的文件,没有其他修改。

>

我的Scala版本是2.11.8,Spark版本为1.4.0,我正在关注此线程的讨论以执行我正在做的事情。

将不胜感激。

,所以我最终自己弄清楚了。我使用mvn compile -rf :spark-examples_2.10进行了编译,然后使用mvn package -rf :spark-examples_2.10来生成.jar文件。请注意,此处生产的JAR文件是spark-examples-1.4.0-hadoop2.2.0.jar

另一方面,堆叠率误差是由于较长的谱系。为此,我可以使用减少计算的检查点,以后进行。我为此遵循。

最新更新