是备用名称节点也做次要名称节点的工作

  • 本文关键字:节点 工作 备用 hdfs hadoop2
  • 更新时间 :
  • 英文 :


朋友们,我知道在hadoop2中,当我们配置高可用性时,不需要配置辅助名称节点/检查点节点/备份节点。通过一种新的机制,通过在活动和备用名称节点之间共享编辑来提供可用性。

我的问题是,次要名称节点的功能是定期将编辑文件与fsimage文件合并,因此在hadoop1世界中有两个好处:1)限制编辑文件的大小;2)通过保持fsimage几乎是最新的,减少了重新启动的时间。

因此,如果启用了高可用性,并且不需要辅助名称节点。那么谁将用fsimage进行编辑呢?或者由于一些体系结构/过程的变化,现在不需要该步骤。

帮助我理解它。

有两种部署HDFS HA的模式(注意,这是当前2.7.1的状态,如果你在2016年后的某个时候登陆该职位,情况可能会发生变化):

  • 共享NFS,其中Active和Standby NameNode实际上处理相同的文件(映像和日志)。请参阅使用NFS的HDFS高可用性。

  • 仲裁日志管理器,其中主动和被动NameNode都依赖于一个新服务,一组至少3个日志节点,为日志编辑提供仲裁。请参阅使用仲裁日志管理器的HDFS高可用性。

对于这两种配置,文档都明确指出了问题的答案:

请注意,在HA集群中,Standby NameNode还执行命名空间状态的检查点,因此无需在HA集群内运行Secondary NameNode、CheckpointNode或BackupNode。事实上,这样做是一个错误。这也允许将未启用HA的HDFS集群重新配置为启用HA的用户重新使用他们以前专用于次要名称节点的硬件。

最新更新