我目前正在使用Mahout 0.13.0。当我尝试使用火花项目相似性时,出现错误:
线程"main"中的异常 java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
我怀疑这可能是 Spark 版本的问题,但我找不到我需要哪个版本的 Spark。我目前正在使用Spark 2.1.0。
所以我的问题是,Mahout 0.13.0 与哪个版本的 Spark 兼容?
在 Spark 2.1/Scala 2.11 上没有 Mahout 0.13.0 的二进制文件,但是可以为 Spark 2.1 构建 Mahout(不幸的是没有配置文件,必须使用 D 开关来完成所有操作(
要构建,您需要执行以下操作:
git clone http://github.com/apache/mahout
cd mahout
mvn clean package -Dspark.version=2.1.0 -Dscala.version=2.11.8 -Dscala.compat.version=2.11
此外,Pat 是正确的 - 希望很快发布,将有二进制文件。
我认为开发分支中有一个 maven 配置文件,用于使用 Spark 2.x 和 Scala 2.11 进行构建,但直到一周左右的 0.13.1 才发布任何工件。
它与两者兼容,只是太多的工件组合无法赶上。