YARN是Hadoop的第二代,它不再使用jobtracker守护进程,而是用资源管理器代替它。但是,为什么在mapred-site上.xml hadoop 2有一个mapreduce.jobtracker.address属性?
你是对的。在 YARN 中,作业跟踪器不再存在。因此,作为客户端配置的一部分,您不必指定属性 mapreduce.jobtracker.address
。在 YARN 中,应在配置文件中指定要yarn
的属性mapreduce.framework.name
。您需要指定yarn.resourcemanager.address
,而不是设置 mapreduce.jotracker.address。
设置 yarn.resourcemanager.address 不是强制性的:
请参阅以下链接,其中解释了从 MR1 到 MR2 的迁移
https://www.cloudera.com/documentation/enterprise/5-4-x/topics/cdh_ig_mapreduce_to_yarn_migrate.html