spark yarn-client运行良好,但是yarn-cluster呢?如果可能的话,请分享我们如何做到这一点。
是的,在当前的齐柏林主版本中是可能的。
查看https://medium.com/@zjffdu zeppelin-0-8-0-new-features-ea53e8810235
Spark解释器的Yarn Cluster Mode
在0.8.0之前,Zeppelin只支持Spark解释器的yarn客户端模式,这意味着驱动程序将运行在Zeppelin服务器的同一台主机上。这会导致Zeppelin Server主机的内存压力很大,特别是当你在隔离模式下运行Spark Interpreter时。
https://issues.apache.org/jira/browse/ZEPPELIN-2898(2017年9月底合并到master)。
更新:通知已发布0.8.0,该版本具有此功能
目前zeppelin不支持yarn cluster,只支持yarn-client。这有什么用呢?