为什么我们在 YARN 中配置 mapred.job.tracker

Question

我知道的是引入了YARN，它取代了JobTracker和TaskTracker。

我看到的是一些Hadoop 2.6.0/2.7.0安装教程，它们正在将mapreduce.framework.name配置为yarn，mapred.job.tracker属性配置为本地或host：port。

mapred.job.tracker属性的说明是

"运行MapReduce作业跟踪器的主机和端口。如果是"本地"， 然后，作业将作为单个地图在进程中运行，并减少任务。

我的疑问是，如果我们使用 YARN，为什么要配置它，我的意思是 JobTracker 不应该正确运行？

如果我的问题很愚蠢，请原谅我。

编辑：这些是我正在谈论的教程。

http://chaalpritam.blogspot.in/2015/01/hadoop-260-multi-node-cluster-setup-on.html

http://pingax.com/install-apache-hadoop-ubuntu-cluster-setup/

https://chawlasumit.wordpress.com/2015/03/09/install-a-multi-node-hadoop-cluster-on-ubuntu-14-04/

Answer 1

这只是一个猜测，但那些讨论在 YARN 中配置 JobTracker 的教程要么是由不知道 YARN 是什么的人编写的，要么他们设置它是为了以防你决定有一天停止使用 YARN。你是对的：YARN中不存在JobTracker和TaskTracker。如果需要，可以添加属性，但这些属性将被忽略。替换 JobTracker 和 TaskTracker 的每个组件的新属性都添加了 YARN，例如yarn.resourcemanager.address替换mapred.jobtracker.address。

如果在 YARN 下列出运行 Hadoop 时的 Java 进程，则看不到JobTracker或TaskTracker：

10561 Jps
20605 NameNode
17176 DataNode
18521 ResourceManager
19625 NodeManager
18424 JobHistoryServer

您可以在此处阅读有关 YARN 工作原理的更多信息。