我正在尝试使用Zeppelin(0.7-0快照编译mvn clean package - passandra -spark-1.6 -Dscala-2.11 -DskipTests)使用1.6.1版本的外部独立Spark
我已经尝试通过在/zeppelin/conf/zeppelin-env.sh中输入export MASTER=spark://mysparkurl:7077来设置这个在%spark interpeter设置下,通过Zeppelin GUI,我也尝试将主参数设置为spark://mysparkurl:7077.
到目前为止,连接到Spark的尝试都没有成功。以下是我用于测试齐柏林飞船与外部火花和我得到的错误代码:
%spark
val data = Array(1,2,3,4,5)
val distData = sc.parallelize(data)
val distData2 = distData.map(i => (i,1))
distData2.first
data: Array[Int] = Array(1, 2, 3, 4, 5)
Java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext.
Zeppelin运行在docker容器中,Spark运行在host上。
我错过了什么吗?为了让Zeppelin与外部独立的Spark一起工作,还需要配置其他东西吗?
正如Cedric H.提到的,那时你必须用-Dscala-2.10
编译Apache Zeppelin。
自9月以来已经修复了一些错误,Scala 2.11支持现在应该可以正常工作了,如果不是-请在官方项目JIRA中提交问题。