现有MapReduce和YARN(MRv2)之间的差异

Question

有人能告诉我，现有MapReduce和YARN之间的区别是什么吗？因为我没有发现这两者之间的所有明显区别？

p.S.：我想比较一下这些。

谢谢！

Answer 1

MRv1使用JobTracker创建任务并将任务分配给数据节点，当集群扩展到足够远（通常在4000个节点左右）时，这可能会成为资源瓶颈。

MRv2（又名YARN，"另一个资源协商器"）为每个集群都有一个资源管理器，每个数据节点都运行一个节点管理器。对于每个作业，一个从节点将充当应用程序主节点，监视资源/任务等。

Answer 2

MRv1也称为Hadoop1，其中HDFS（资源管理和调度）和MapReduce（编程框架）紧密耦合。因此，非批处理应用程序无法在hadoop1上运行。它只有一个名称节点，所以不能提供高的系统可用性和可扩展性。

MRv2（又名Hadoop2）在这个版本的Hadoop中，资源管理和调度任务与MapReduce分开，MapReduce由YARN（另一个资源协商人）分开资源管理和调度层位于MapReduce层之下。它还提供了高系统可用性和可扩展性，因为我们可以创建冗余的NameNodes。快照的新功能，我们可以通过它备份文件系统，这有助于灾难恢复。