Apache Zeppelin 0.7.0-SNAPSHOT不能与外部Spark一起工作



我正在尝试使用Zeppelin(0.7-0快照编译mvn clean package - passandra -spark-1.6 -Dscala-2.11 -DskipTests)使用1.6.1版本的外部独立Spark

我已经尝试通过在/zeppelin/conf/zeppelin-env.sh中输入export MASTER=spark://mysparkurl:7077来设置这个在%spark interpeter设置下,通过Zeppelin GUI,我也尝试将主参数设置为spark://mysparkurl:7077.

到目前为止,连接到Spark的尝试都没有成功。以下是我用于测试齐柏林飞船与外部火花和我得到的错误代码:

%spark 
val data = Array(1,2,3,4,5)
val distData = sc.parallelize(data)
val distData2 = distData.map(i => (i,1))
distData2.first
data: Array[Int] = Array(1, 2, 3, 4, 5)
Java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.

Zeppelin运行在docker容器中,Spark运行在host上。

我错过了什么吗?为了让Zeppelin与外部独立的Spark一起工作,还需要配置其他东西吗?

正如Cedric H.提到的,那时你必须用-Dscala-2.10编译Apache Zeppelin。

自9月以来已经修复了一些错误,Scala 2.11支持现在应该可以正常工作了,如果不是-请在官方项目JIRA中提交问题。

最新更新