如何配置Avro MapReduce作业将结果输出到单个文件中



我有一个三个节点的集群,当Avro作业完成时,它创建了三个输出文件(拆分文件),但是,我只想输出一个文件。有什么建议吗?

设置mapred.reduce。Tasks =1,但这可能会增加执行时间。

您也可以使用hadoop -getmerge命令在作业结束后获取单个文件

相关内容

  • 没有找到相关文章

最新更新