使用mlib执行sparkshell,错误:对象jblas不是package.org的成员



在spark shell中,当我执行import org.jblas.DoubleMatrix时,它会在RHEL上抛出"error:object jblas不是package org的成员"。

事实上,我在谷歌上搜索了"jblas",并从中安装了"gfortran"https://gcc.gnu.org/wiki/GFortranBinaries#MacOS在我的mac pro上。

我的spark版本是spark-1.4.0-bin-hadoop2.6.tar或spark-1.5.1-bin-hadoop2.6.tar,它是直接从官方网站下载的,也就是说我不是从源代码构建的。

此步骤可能是可选的,它将在您的笔记本电脑存储库上安装jblas jar。

git clone https://github.com/mikiobraun/jblas.git
cd jblas
mvn install

进入火花目录

cd /Users/erichan/Garden/spark-1.5.1-bin-cdh4

启动带有程序包的spark shell选项,如果您没有执行第一步,则应该为jblas提供正确的maven坐标:

bin/spark-shell --name my_mlib --packages org.jblas:jblas:1.2.4-SNAPSHOT --driver-memory 4G --executor-memory 4G --driver-cores 2

最新更新