在Apache Flink中,工作经理和作业大师有什么区别



在apache flink(例如v1.8(中,工作经理和作业大师有什么区别?

作业经理和工作大师似乎在日志中类似地使用。

工作经理和工作主人有什么区别?

谢谢!

Jobmanager是主要3个组件的组成。

  1. 调度员 - 向任务经理派遣工作
  2. 资源管理器 - 为作业分配所需的资源
  3. Jobmaster-监督,协调FLINK职位任务。

所以,Jobmaster是Jobmanager的一部分。根据文档,将一个Jobmanager分配给每个单独的Flink应用程序,其中可能包含多个Flink作业。

例如,带有2个作业的Flink应用程序将实例化1个Jobmanger,但将包含2个工作人员。

Jobmanager和Jobmaster具有不同的角色。

根据文档的JobManager数据结构部分:

在执行工作期间, JobManager 跟踪分布式任务,决定何时安排下一个任务(或一组任务(,并对完成的任务或执行失败做出反应。

JobManager 接收工作图,这是由操作员(Jobvertex(和中间结果(InterMediedataSet(组成的数据流的表示形式。每个操作员都有属性,例如并行性及其执行的代码。此外,工作图具有一组附加的库,这些库是执行运营商的代码所必需的。

根据Javadoc:

,求职者的作用更加有限

Jobmaster 实现。工作主负责执行单个工作图。

相关内容

  • 没有找到相关文章

最新更新