Hadoop 2 中的 JobHistory 服务器无法从 HDFS 加载历史记录文件



错误消息如下所示:

Could not load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEEDED-default.jhist

实际上,我知道问题的答案。/mr-history 文件的初始设置为:

hadoop fs -chown -R $MAPRED_USER:$HDFS_USER /mr-history

但是当运行作业(在 $HDFS_USER 下)时,作业文件会保存到 $HDFS_USER:$HDFS_USER 下的/mr-history/tmp/hdfs 中,然后 $MAPRED_USER(运行 JobHistory 服务器的位置)无法访问。再次更改权限后,可以加载作业文件。

但每一份新工作都会再次发生这种情况。所以有人可以帮我,解决这个问题是什么,谢谢。

我遇到了同样的问题。作为解决方法,我将$MAPRED_USER用户添加到$HDFS_USER组,这有所帮助。

最新更新