火花驱动程序死了,执行者也死了吗?



在 Spark 2.x 中,如果驱动程序死了,执行者也会死吗?如果是,如果重新启动,整个作业是否会从检查点目录再次启动 wid 引用?

驱动程序是 Spark 应用程序中的单点故障。如果驱动程序死亡,所有其他链接的组件也将被丢弃。

在使用检查点

实现可靠性(流式处理(的应用程序中,可以使用检查点来恢复状态。请参考:

  • Spark 流式处理编程指南 - 检查点
  • 结构化流式处理编程指南 - 使用检查点从故障中恢复

了解详情。

相关内容

  • 没有找到相关文章

最新更新