我有一个非常简单的Hadoop程序有这个问题,该程序进展到99%的还原阶段,然后冻结。输入是一个非常精简的文件~50行文本,输出应该是Id及其频率的非常直接的键值对。
我已经将mapred-site内的mem分配.xml增加到~6Gig。
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx6024m</value>
</property>
我试图检查日志文件,但它们都是空的,没有写入任何内容。请建议这可能有什么问题?
好的,所以当我开始使用较新的作业和配置类时,问题得到了解决。到目前为止,我一直在使用遗留代码,这似乎会导致很多错误。所以我想我的建议是使用最新的Hadoop库,而不是弃用的库。
遗憾的是,一些Hadoop书籍仍然使用遗留类和API进行教学--不要使用它们!