YARN和NameNode何时交互



当一个作业被提交时,YARN和NameNode什么时候交互?提交作业后,作业会发送给谁?有人可以解释端到端流程 - Hadoop生态系统如何工作吗?

谢谢!

Namenode:存储数据节点中存储的所有数据的元数据,并监控数据节点的运行状况。基本上,它是一个主从架构。

YARN:它代表另一个资源谈判者。纱线主要有两种成分。

1.> 调度

2.> 应用程序管理器

Yarn还包含主节点,即资源管理器和从节点管理器,即节点管理器。

出于调度目的,有 3个调度程序

1.> 先进先出 2.> 容量 3.> 费尔沙尔 e

资源管理器在节点管理器下分配了一个名为"应用程序主机"的组件。

将一个应用程序主控分配给一个应用程序。

作业由客户端直接提交,资源管理器将作业分配给应用程序主节点,节点管理器监视应用程序主节点的活动性

现在,每当作业传入时,资源管理器都会创建一个作业 ID,并为该作业分配一个应用程序主机。资源管理器与 Namenode 联系,以检索有关必须对其执行任务的所需数据的元数据的信息。然后,资源管理器收到的信息将传递给应用程序主服务器。

这是 Yarn 与 Namenode 工作的基本概述。您也可以从 YARN 详细阅读

此外,NameNode交互只是在YARN中运行的Hadoop应用程序中,这些应用程序与NameNode通信。并非所有 YARN 应用程序都需要与 HDFS 通信

基本上 YARN 和 HDFS 之间没有直接的交互,见 https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

但是,YARN作业需要一些通常驻留在HDFS上的文件(库,配置等(。

相关内容

  • 没有找到相关文章

最新更新