我正在关注Spark 1.6文档的快速启动,http://spark.apache.org/docs/latest/quick-start.html
在这个步骤:
#包装一个包含应用程序的罐子
$sbt包
[info]包装{..}/{..}/target/scala-210/simple-project_2.10-1.0.jar
我得到的是"simple_2.10-0.1-SNAPSHOT.jar",并且这个jar文件中没有类。这将在下一步运行spark-submit命令时导致ClassNotFoundException。
我不知道是什么导致了这个问题(为什么我得到了一个带有"SNAPSHOT"的jar文件,为什么jar文件中没有类)。想知道是否有人能指出这一点。谢谢
首先,出现SNAPSHOT
是因为您没有在sbt文件中指定version
。
第二,你怎么知道jar文件中没有类?你在上面运行了jar tf
吗?如果你这样做了,并且它确实是空的,那么我的猜测是你没有将源文件存储在预期的目录结构中,所以它没有提取它。您可以通过运行sbt clean compile
来验证这一点。如果文件的结构正确,您应该可以看到正在编译的文件。