Hadoop流示例失败映射中的键类型不匹配



可能重复:
hadoop流示例无法运行-映射中的密钥类型不匹配

当我运行Hadoop流示例时,它失败了,因为映射中的密钥类型不匹配

Hadoop版本0.21.0输入文件内容:

adfad

adfasdflkjlj

命令行:$HADOOP_HOME/bin/HADOOP-jar$HADOOP-HOME/HADOOP-streaming.jar\-输入myInputDirs\-输出myOutputDir\-映射程序org.apache.hadop.mapred.lib.IdentityMapper\-异径管/料仓/wc

我得到的错误:

java.lang.Exception:java.io.io异常:映射中的键类型不匹配:应为org.apache.hadoop.io.Text,收到org.apache.haoop.io.LongWritable

请告知。我做错了什么?感谢

EDIT:很抱歉,没有意识到这是流媒体。您需要自定义如何将输出拆分为Key/Value对。文件如下:http://hadoop.apache.org/common/docs/current/streaming.html#Customizing+如何+行+是+拆分+成+键%2FValue+对

错误消息会提供您需要了解的所有信息。映射器被定义为输出LongWritable键:"mapper",而Reducer需要Text:"Reducer"`你需要重新定义其中的一个或另一个。

这是Hadoop发布版本中的一个已知错误。它已经在代码中修复,但必须发布。此处提供了替代解决方案。

相关内容

  • 没有找到相关文章

最新更新