如何在运行Spark Master的计算机故障时恢复Spark Master

Question

我在机器A上有一个Spark主节点，在另一台机器B和C上有两个Spark工作线程。如果机器 A 因任何原因出现故障，在这种情况下，Spark master 将死亡。

有没有办法恢复Spark Master或在另一台机器上自动创建新的Spark Master？

谁能帮我解决这个问题？

提前谢谢。

问候阿尤什

Answer 1

最近的拉取请求增加了对使用 ZooKeeper 的独立主容错的支持。 该拉取请求刚刚合并到主分支中，因此此功能应合并到 0.9.0 版本中。 同时，您可以通过构建Spark的开发版本来尝试它。