Hadoop mapreduce getMapOutput failed



当前设置:
- Hadoop 0.20.2-cdh3u3
- HBase版本0.90.4-cdh3u3
- 码头-6.1.14
- 在 VM 上运行 (Debian Squeeze)

在 Hbase 表上的 mapreduce 过程中出现问题。在Reduce阶段,它每次都在同一点崩溃,任务跟踪器中的这些日志.log:

ERROR org.apache.hadoop.mapred.TaskTracker: getMapOutput(attempt_201205290717_0001_m_000010_0,3) failed:
org.mortbay.jetty.EofException
WARN org.mortbay.log: Committed before 410 getMapOutput(attempt_201205290717_0001_m_000010_0,3) failed :
org.mortbay.jetty.EofException
ERROR org.mortbay.log: /mapOutput
java.lang.IllegalStateException: Committed

希望有人以前遇到过相同或类似的问题,寻找解决方案。

我在这里面临同样的问题。

在我的集群上,除了一个从属服务器(datanode和tasttrackers)之外,所有从属服务器(datanode和tasttrackers)都会发生这种情况,这导致一般的reduce过程首先进展非常缓慢,并且在由于某些错误而重新回滚的某个点。 然后,reduce过程再次开始:作业永远不会完成。

错误跟踪器中存在一个未解决的主要问题。请参阅 https://issues.apache.org/jira/browse/MAPREDUCE-5

让我们希望,它有一天会得到修复,但目前,我根本无法使用我的 Hadoop 程序来处理 3 GB>大文件。就我而言,我希望,我可以通过额外的数据清理和更有效的数据结构(trove,fastutils)来修复它,所以问题根本不会发生,但老实说,这感觉有点像这里的错误方法。无论如何,不做那些较小的调整是从 hadoop开始的主要原因。

当reduce任务过早关闭与码头服务器的连接时,会观察到码头EOFException。重新启动任务跟踪器并再次运行作业。看看它是否适合你。

相关内容

  • 没有找到相关文章

最新更新