所以我正在编辑movielensals.scala和我只想用我的修改后的movielensals.scala重新编译示例jar。
我使用了build/mvn -pl :spark-examples_2.10 compile
,其后是build/mvn -pl :spark-examples_2.10 package
,该CC_2正常完成。我有 SPARK_PREPEND_CLASSES=1
set。
但是,当我使用bin/spark-submit --class org.apache.spark.examples.mllib.MovieLensALS examples/target/scala-2.10/spark-examples-1.4.0-hadoop2.4.0.jar --rank 5 --numIterations 20 --lambda 1.0 --kryo data/mllib/sample_movielens_data.txt
重新运行MovieLensals时,即使我添加到MovielenSals中的所有内容。Scala是一个println,说这是修改的文件,没有其他修改。
我的Scala版本是2.11.8,Spark版本为1.4.0,我正在关注此线程的讨论以执行我正在做的事情。
将不胜感激。
,所以我最终自己弄清楚了。我使用mvn compile -rf :spark-examples_2.10
进行了编译,然后使用mvn package -rf :spark-examples_2.10
来生成.jar文件。请注意,此处生产的JAR文件是spark-examples-1.4.0-hadoop2.2.0.jar
。
另一方面,堆叠率误差是由于较长的谱系。为此,我可以使用减少计算的检查点,以后进行。我为此遵循。