我的问题类似于:hadoop流:如何查看应用程序日志?(答案中的链接目前不起作用。所以我不得不再发一次，附带一个额外的问题)
我可以看到所有的hadoop日志在我的/usr/local/hadoop/logs路径
但是我在哪里可以看到应用程序级别的日志?例如:
reducer.py——
import logging
....
logging.basicConfig(level=logging.ERROR, format='MAP %(asctime)s%(levelname)s%(message)s')
logging.error('Test!')
...
我无法在stderr中看到任何日志(WARNING,ERROR)。
在哪里可以找到应用程序的日志语句?我正在使用Python和hadoop流。
附加问题:
如果我想使用一个文件来存储/聚合我的应用程序日志，如:
reducer.py——
....
logger = logging.getLogger('test')
hdlr = logging.FileHandler(os.environ['HOME']+'/test.log')
formatter = logging.Formatter('MAP %(asctime)s %(levelname)s %(message)s')
hdlr.setFormatter(formatter)
logger.addHandler(hdlr)
logger.setLevel(logging.ERROR)
logger.error('please work!!')
.....
(假设我有test.log在主目录的$HOME位置&我的hadoop集群中的所有slave)。我能在像Hadoop这样的分布式环境中实现这一点吗?如果可以，如何实现这一目标?
我尝试了这个并运行了一个示例流作业，但只看到下面的错误:
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:330)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:543)
at org.apache.hadoop.streaming.PipeReducer.close(PipeReducer.java:134)
at org.apache.hadoop.io.IOUtils.cleanup(IOUtils.java:237)
at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:484)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:397)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:175)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:170)
Container killed by the ApplicationMaster.
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143
请帮助我了解如何在hadoop流作业中实现日志记录。
谢谢
试试这个HDFS路径:/纱/应用程序/,{user_name}/日志/application_ $ {appid}/
一般:
存储容器日志的位置。应用程序的本地化日志目录位于${yarn.nodemanager.log-dirs}/application_${appid}。单个容器的日志目录将位于下面，位于名为container_{$contid}的目录中。每个容器目录将包含该容器生成的stderr、stdin和syslog文件。
如果您打印到stderr，您将在上面提到的这个目录下的文件中找到它。每个节点应该有一个文件
您必须知道Hadoop-streaming使用stdout将数据从映射器管道到reducer。因此，如果您的日志系统以标准输出方式写入，您将遇到麻烦，因为它很可能会破坏您的逻辑和工作。记录日志的一种方法是写入stderr，因此您将在错误日志中看到日志。