YARN不显示已完成的作业

Question

我在MAC上安装了Hadoop和YARN。我能够在HDFS上运行wordcount示例并输出结果（pesudo分发模式），我知道我的程序正在HDFS上运行数据文件，因为我必须将文件复制到HDFS才能运行。然而，当我检查我的YARN的WEB UI时，没有任何任务已经完成的记录。经过在线研究，该应用程序似乎仍在本地运行。

在start-learn.sh之后，我可以打开Resource Manager web UI http://localhost:8088/，问题是从来没有任务出现。此外，我甚至无法访问我的JobTracker Web UI。

我发现了以下链接。它和我的有类似的问题，但这个解决方案对我不起作用

Hadoop没有在作业跟踪器中显示我的作业，即使它正在运行

我的XML设置如下

mapred-site.xml

<configuration>
  <property>
      <name>mapred.job.tracker</name>
      <value>localhost:9001</value>
  </property>
  <property>
    <name>mapred.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:9002</value>
</property>

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

有人知道问题出在哪里吗？感谢

Answer 1

如果您正在使用yarn，因为没有jobtracker，那么它将是资源管理器来处理您的请求。所以，由于您已经将mapred.framework.service作为yarn，所以框架将运行resourcemanager。从mapred-site.xml中删除jobtracker的条目尝试使用以下mapred-site.xml

<属性><名称>mapreduce.framework.name<名称><值>纱线<值><属性><属性><名称>mapreduce.jobhistory.address<名称><值>localhost:100020<值><属性><属性><名称>mapreduce.jobhistory.webapp.address<名称><值>本地主机：19888<值><属性>

还可以通过bin/yarn-damemoe.sh启动历史服务器
通过此操作，您将能够查看已完成的应用程序（旧mapreduce中的作业）的历史记录。在web UI上，您将只显示正在运行的任务，为了获得更多详细信息，它提供了到应用程序主机的链接，应用程序主机负责在yarn中运行应用程序。完成任务后，您也可以点击历史链接查看历史。尝试在resourcemanager web UI 上找到所有这些链接