有没有办法限制我的mapreduce(JAVA)作业产生的记录量



假设我只想从mapreduce程序中生成1000条记录。我有多个映射器进入一个reducer,所以限制来自映射器的记录数量不是一个选项。

mapreduce是否有一些内置功能,我可以做一些类似的事情

HCatOutputFormat.setOutput(job, OutputJobInfo.create(dbName, tbName, partitionValues)).limit(1000);

或者类似的东西?

您可以使用内置的MAP_OUTPUT_RECORDS计数器。以下是

的示例

相关内容

  • 没有找到相关文章

最新更新