地图输出格式不同于 Hadoop 中的减少输出格式



我希望Map 的输出是 SequenceFileOutputFormat,而 reduce 的最终输出是 TextOutputFormat

作业配置允许仅指定 setOutputFormatClass

如何为映射和减少阶段设置不同的输出格式?

我不相信您可以为映射器和化简器指定不同的输出格式,只是针对整体工作。您可以尝试一个选项,根据您的处理,您可以让单个作业以 SequenceFileOutputFormat 输出文件,然后另一个作业读取并处理它以将其转换为 TextOutputFormat。

作业配置还允许使用 setMapOutputKeyClass 和 hadoopmapreduce 包中作业类的 setMapOutputValueClass 方法来指定 Map 的输出

相关内容

  • 没有找到相关文章