Zookeeper、Journal Node Tasks 和 Quorum Journal Manager 在 Hado



在研究多个网站和视频中的材料时,我对 3 个 hadoop 组件 ZooKeeper、Journal Node 和 Quorum Journal Manager 的功能和目的差异感到困惑。

谁能解释一下发明上述每个组件的原因以及上述三个组件的目的和功能的差异?

提前谢谢。

可以这样想,动物园管理员是一群人,每个人都被指派监视一个工厂并协调他们,日志节点是所有工厂经理都可以检查其他人状态和协调的地方。QJM 是两者的组合,可在 HA 中使用,以便在故障转移时更好地协调。

Zookeeper

协调 HBase RegionServer 和其他需要 Zookeeper 的 Hadoop 模块。

日志节点将 Hadoop 数据节点与 namenode 进行协调。

QJM 使用日志节点使用的技术协调区域服务器

核心Hadoop设置上,在分布式设置的情况下只需要日志节点

首先,法定人数意味着决策需要多数。所以,当你看到"法定人数"这个词时,你应该想到一个集群,说;多主机配置。你可以听到这个术语来表示Zookeeper和Journal Nodes。

对其功能的简短描述将帮助您区分其目的。

Zookeeper

Zookeeper是应用程序需要经常检查的信息的中央同步应用程序。应用程序可能需要许多信息,例如命名结构,信息,配置信息(或简单的配置(等。最常见的情况是应用程序的配置。当您更改与 80 台服务器相关的配置时,要将此更改同步到所有节点,您需要开发同步服务。应用程序本身可能具有此功能。但是,假设您向环境中添加了另外 12 个应用程序。您需要逐个处理每个应用程序的同步服务。这就是动物园管理员的用武之地。Zookeeper可以自己处理所有这些信息的管理。如果您将其设置为集群(需要奇数个主机,为什么?(,您将拥有 Zookeeper 的高可用性(故障转移情况(并拥有 Zoopeeker 仲裁。

日志节点:在高可用性 Hadoop 集群中,有多个名称节点在主动/被动模式下运行。活动名称节点通知日志节点更改。备用名称节点向日志节点询问更改的内容。就像 Zookeeper 的情况一样,如果您设置为集群配置(这里也需要奇数个主机,为什么?(,您也具有日记节点功能的高可用性,并拥有仲裁日志管理器。

实际上,除了实验室目的(PC中的vm(之外,我没有听到将它们设置为单个主机或节点。

1. 动物园管理员

ZooKeeper 是一种集中式服务,用于维护配置信息、命名、提供分布式同步和提供组服务。所有这些类型的服务都由分布式应用程序以某种形式使用

Zookeeper在Hadoop生态系统中的作用:

在Hadoop名称节点故障转移过程中,ZooKeeper已被用于避免出现脑裂情况,以便名称节点状态不会因故障转移而分化。

有关更多详细信息,请参阅此帖子:

Hadoop Namenode故障转移过程如何工作?

2. 日志节点(用于名称节点故障转移过程(

为了使备用节点保持其状态与主动节点同步,两个节点都与一组称为"日志节点"(JN( 的独立守护程序进行通信。

JournalNode

machines - 运行 JournalNode 的计算机。JournalNode 守护进程相对轻量级,因此这些守护进程可以合理地与其他 Hadoop 守护进程(例如 NameNodesJobTrackerYARN ResourceManager(并置在机器上。

注意:必须至少有 3 个 JournalNode 守护进程,因为编辑日志修改必须写入大多数 JN。这将允许系统容忍单台机器的故障

3.仲裁日志管理器(QJM(允许在活动和备用名称节点之间共享编辑日志

重要的是,使用仲裁日志管理器时,只允许一个 NameNode 写入日志节点,因此不会因裂脑方案损坏文件系统元数据

相关内容

  • 没有找到相关文章