了解纱线环境中的任务管理器和任务槽

Question

我是 Flink 的新手，还没有机会阅读 Flink 源代码来理解源代码的 JobManager、TaskManager 和 Task Slot。

我认为TaskManager Process就像Spark的

Executor Process，而JobManager就像Spark的Driver Process。

但是当我看图表时 https://learning.oreilly.com/library/view/stream-processing-with/9781491974285/assets/components.png

看来我的想法是错的？是在 YARN 容器中运行的任务槽进程吗？也就是说，任务槽类似于Spark的执行程序进程。

我对 JobManager、TaskManager 和 TaskSlot 没有很好的或清晰的了解

Answer 1

Flink 文档解释了分布式运行时的组织方式。粗略总结一下，与Spark相比：

• 任务管理器：星火工作者
任务
• 槽：火花任务
• 应用：火花驱动程序

至于 Flink 的作业管理器，直到最近（Flink 1.6），这还是一个扮演着许多角色的巨石。现在它已经被重构了，它仍然负责大多数独立于集群框架的集群范围的问题 - 这意味着协调检查点和恢复以及调度等事情。

另请参阅此问题的答案。