我在EMR集群的主机上运行的python作业失败了，我该如何进行故障排除

Question

我ssh到master，并在控制台上运行我的hadoop作业以用于开发目的。我的工作以一种神秘的方式失败了，有很多java堆栈跟踪对我来说毫无意义，见下图：

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 143
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:535)
at org.apache.hadoop.streaming.PipeMapper.map(PipeMapper.java:120)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:455)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:344)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)

Answer 1

查看日志中python代码中的错误。对于EMR/yarn，您可以从WEB UI或集群主外壳上找到日志，如下所示(您的应用程序id会有所不同，作业启动时会打印出来(。有很多输出，如我所示，将其重定向到一个文件中，并搜索python堆栈跟踪，看看你的应用程序出了什么问题。所有这些堆栈跟踪通常表明至少有一个reduce进程失败，但该进程的stderr没有显示在CLI/shell输出中。

$ yarn logs -applicationId application_1503951120983_0031 > /tmp/log