当一个作业被提交时,YARN和NameNode什么时候交互?提交作业后,作业会发送给谁?有人可以解释端到端流程 - Hadoop生态系统如何工作吗?
谢谢!
Namenode:存储数据节点中存储的所有数据的元数据,并监控数据节点的运行状况。基本上,它是一个主从架构。
YARN:它代表另一个资源谈判者。纱线主要有两种成分。
1.> 调度
2.> 应用程序管理器
Yarn还包含主节点,即资源管理器和从节点管理器,即节点管理器。
出于调度目的,有 3个调度程序:
1.> 先进先出 2.> 容量 3.> 费尔沙尔 e
资源管理器在节点管理器下分配了一个名为"应用程序主机"的组件。
将一个应用程序主控分配给一个应用程序。
作业由客户端直接提交,资源管理器将作业分配给应用程序主节点,节点管理器监视应用程序主节点的活动性
现在,每当作业传入时,资源管理器都会创建一个作业 ID,并为该作业分配一个应用程序主机。资源管理器与 Namenode 联系,以检索有关必须对其执行任务的所需数据的元数据的信息。然后,资源管理器收到的信息将传递给应用程序主服务器。
这是 Yarn 与 Namenode 工作的基本概述。您也可以从 YARN 详细阅读
此外,NameNode交互只是在YARN中运行的Hadoop应用程序中,这些应用程序与NameNode通信。并非所有 YARN 应用程序都需要与 HDFS 通信
基本上 YARN 和 HDFS 之间没有直接的交互,见 https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
但是,YARN作业需要一些通常驻留在HDFS上的文件(库,配置等(。