错误消息如下所示:
Could not load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEEDED-default.jhist
实际上,我知道问题的答案。/mr-history 文件的初始设置为:
hadoop fs -chown -R $MAPRED_USER:$HDFS_USER /mr-history
但是当运行作业(在 $HDFS_USER 下)时,作业文件会保存到 $HDFS_USER:$HDFS_USER 下的/mr-history/tmp/hdfs 中,然后 $MAPRED_USER(运行 JobHistory 服务器的位置)无法访问。再次更改权限后,可以加载作业文件。
但每一份新工作都会再次发生这种情况。所以有人可以帮我,解决这个问题是什么,谢谢。
我遇到了同样的问题。作为解决方法,我将$MAPRED_USER用户添加到$HDFS_USER组,这有所帮助。