Hadoop Yarn tasklevel logging with log4j



我一直在尝试在任务级别设置Hadoop日志记录,但到目前为止没有成功。

我已经修改了log4j.properties并将许多参数设置为DEBUG级别:

  • log4j.logger.org.apache.hadoop.mapred.Task=DEBUG
  • log4j.logger.org.apache.hadoop.mapred.MapTask=DEBUG
  • log4j.logger.org.apache.hadoop.mapred.ReduceTask=DEBUG
  • log4j.logger.org.apache.hadoop = DEBUG

但是,我看不到正在记录的任务中的任何 LOG.info 或LOG.debug消息。这是在启用纱线的情况下。

我不确定我在配置中错过了什么以使其正常工作。我想我最终应该在 nodemanage.out 日志文件中收到这些消息?

您应该能够从 Yarn 控制台查看应用日志消息,但到达该控制台的路径有几个步骤。

1.) 转到 Yarn 控制台,通常 http://yourserver:80882.) 转到工具->本地日志3.)找到"用户日志"链接并选择它4.) 找到您的应用程序,例如带有"应用程序"前缀而不是"作业"前缀的 MapReduce 作业名称并选择它。5.) 然后在容器日志(通常为"syslog")下,您应该找到作业级别日志记录。

下面是一个完整的示例路径。http://yourserver:8088/logs/userlogs/application_1427820474064_0003/container_1427820474064_0003_01_000019/syslog

相关内容

  • 没有找到相关文章

最新更新