我们是否将一台机器称为datanode和nodemanager



HDFS有两个节点namenodes和datanodes。YARN有一个资源管理器和节点管理器。我想知道这些实体是在单机上。就像一台机器上的namenode和资源管理器一样。另一台机器上的Datanode和nodemanager在一起。根据我的理解,客户端请求namenode获取存储数据的信息,这类似于请求资源管理器获取资源。datanode包含数据,即wat nodemanager包含的数据,在该数据上执行map reduce作业。

如果我对HDFS的理解有误,请纠正我。感谢

Namenode、Datanode、ResourceManger和NodeManager都是在不同节点/机器上运行的服务。没有硬性规定这些服务需要在不同的机器上运行,或者在同一台机器上运行两个/三个的组合,这取决于管理员,他想如何部署,你肯定可以让它们在同一个节点/机器上一起运行。没有什么特别的,Datanode和NodeManager在同一个节点/Machine上,Namenode/ResourceManager在不同的同一台机器上。根据机器上可用的资源(Memory/vCores(,您可以将它们全部放在seprate机器上,也可以将它们中的任何一个放在一起,例如将Namenode和Datanode放在一起、将ResourceManager和NodeManager放在一起。

对于HDFS体系结构:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

对于YARN架构:https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

注意:Namenode和Datanode是HDFS的一部分,HDFS是存储层,ResourceManager和NodeManager是YARN的一部分。YARN是资源协商器。因此HDFS和YARN虽然通常合作,但在设计和架构方面相当独立

最新更新