我用mahout编写了一个mapreduce程序。 map输出值为ClusterWritable
.当我在Eclipse中运行代码时,它运行没有错误,但是当我在终端中运行rhe jar文件时,它显示了异常:
java.io.IOException: wrong value class: org.apache.mahout.math.VectorWritable is not class org.apache.mahout.clustering.iterator.ClusterWritable
at org.apache.hadoop.io.SequenceFile$Writer.append(SequenceFile.java:988)
at org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat$1.write(SequenceFileOutputFormat.java:74)
at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.write(MapTask.java:498)
at org.apache.hadoop.mapreduce.TaskInputOutputContext.write(TaskInputOutputContext.java:80)
at org.apache.mahout.clustering.canopy.CanopyMapper.cleanup(CanopyMapper.java:59)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:621)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
at org.apache.hadoop.mapred.Child.main(Child.java:170)
映射中的输出代码为:
context.write(new Text(), new ClusterWritable());
但我不知道为什么它说值类型是VectorWritable
.
的映射器,导致上面的堆栈跟踪是Mahout的CanopyMapper,而不是您编写的自定义映射器。CanopyMapper.cleanup 方法是输出(键:文本,值:矢量可写)。参见CanopyMapper.java
另请参阅 CanopyDriver.java 及其 buildClustersMR 方法,其中配置了 MR 作业、映射器、化简器和适当的输出键/值类。
你没有说明,所以我猜你在数据流管道中使用了多个 MR 作业。检查管道中每个作业的输出是否为管道中下一个作业的有效/预期输入。考虑使用级联/烫伤来定义数据流(请参阅 http://www.slideshare.net/melrief/scalding-programming-model-for-hadoop)
考虑使用 Mahout 用户邮件列表发布与 Mahout 相关的问题。