Hadoop Namenode HA和HDFS联盟有什么区别



我对使用QJM和HDFS联盟的Hadoop Namenode HA有点困惑。两者都使用多个名称节点,并且都提供高可用性。我无法决定将哪种架构用于Namenode高可用性,因为除了QJM之外,两者看起来完全相同。

如果这不是这里要讨论的问题类型,请原谅我。

HDFS High Availability 和 HDFS Federation 之间的主要区别在于 Federation 中的 namenode 彼此不相关。

在HDFS联合中,所有名称节点共享一个元数据池,其中每个名称节点都有自己的池,因此提供容错,即如果联合中的一个名称节点发生故障,则不会影响其他名称节点的数据。

因此,联合 = 多个名称节点且没有相关性。

而在HDFS HA的情况下,有两个名称节点 - 主NN和备用NN。 主 NN 一直在努力工作,每次备用 NN 只是坐在那里,偶尔冷却并更新它与主名称节点相关的元数据,这使它们相关。 当主 NN 厌倦了这个通常的工作表(即它失败)时,备用 NameNode 会接管它拥有的任何最新元数据。

至于 HA 架构,您需要将至少两台分离的计算机配置为 Namenode,其中只有一台应在活动状态下运行。

更多细节在这里: HDFS 高可用性

最新更新