在 Spark 2.x 中,如果驱动程序死了,执行者也会死吗?如果是,如果重新启动,整个作业是否会从检查点目录再次启动 wid 引用?
驱动程序是 Spark 应用程序中的单点故障。如果驱动程序死亡,所有其他链接的组件也将被丢弃。
在使用检查点实现可靠性(流式处理(的应用程序中,可以使用检查点来恢复状态。请参考:
- Spark 流式处理编程指南 - 检查点
- 结构化流式处理编程指南 - 使用检查点从故障中恢复
了解详情。