Mahout 和 Spark 版本兼容性



我目前正在使用Mahout 0.13.0。当我尝试使用火花项目相似性时,出现错误:

线程"main"中的异常 java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

我怀疑这可能是 Spark 版本的问题,但我找不到我需要哪个版本的 Spark。我目前正在使用Spark 2.1.0。

所以我的问题是,Mahout 0.13.0 与哪个版本的 Spark 兼容?

在 Spark 2.1/Scala 2.11 上没有 Mahout 0.13.0 的二进制文件,但是可以为 Spark 2.1 构建 Mahout(不幸的是没有配置文件,必须使用 D 开关来完成所有操作(

要构建,您需要执行以下操作:

git clone http://github.com/apache/mahout

cd mahout

mvn clean package -Dspark.version=2.1.0 -Dscala.version=2.11.8 -Dscala.compat.version=2.11

此外,Pat 是正确的 - 希望很快发布,将有二进制文件。

我认为开发分支中有一个 maven 配置文件,用于使用 Spark 2.x 和 Scala 2.11 进行构建,但直到一周左右的 0.13.1 才发布任何工件。

它与两者兼容,只是太多的工件组合无法赶上。

相关内容

  • 没有找到相关文章

最新更新