Hadoop任务跟踪器:为什么用户日志中缺少日志

Question

我正在使用hadoop1.2.1。我需要/hadoop-installation-directory/logs/userlogs/job-/attemp-/stdout 中的 stdout 文件。但是当我重新启动数据节点时，我的作业日志不在用户日志中。无论如何要访问它们吗？谢谢

Answer 1

清除日志文件的原因有多种：

• 默认情况下，它每 24 小时清除一次，由"mapreduce.job.userlog.retain.hours"属性定义(对于第 2 代，第 1 代为 mapred.userlog.retain.hours(

• 它每 12 小时清除一次，如默认 log4j.properties 中所定义

  hadoop.tasklog.taskid=null
  hadoop.tasklog.noKeepSplits=4
  hadoop.tasklog.totalLogFileSize=100
  hadoop.tasklog.purgeLogSplits=true
  hadoop.tasklog.logsRetainHours=12
                                 ^^
  

因此，如果您有这样的配置，那么它只会将日志保留 12 小时。