齐柏林飞艇是否有可能运行火花纱线簇?



spark yarn-client运行良好,但是yarn-cluster呢?如果可能的话,请分享我们如何做到这一点。

是的,在当前的齐柏林主版本中是可能的。

查看https://medium.com/@zjffdu zeppelin-0-8-0-new-features-ea53e8810235

Spark解释器的Yarn Cluster Mode

在0.8.0之前,Zeppelin只支持Spark解释器的yarn客户端模式,这意味着驱动程序将运行在Zeppelin服务器的同一台主机上。这会导致Zeppelin Server主机的内存压力很大,特别是当你在隔离模式下运行Spark Interpreter时。

https://issues.apache.org/jira/browse/ZEPPELIN-2898(2017年9月底合并到master)。

更新:通知已发布0.8.0,该版本具有此功能

目前zeppelin不支持yarn cluster,只支持yarn-client。这有什么用呢?

相关内容

  • 没有找到相关文章

最新更新