的示例
假设我只想从mapreduce程序中生成1000条记录。我有多个映射器进入一个reducer,所以限制来自映射器的记录数量不是一个选项。
mapreduce是否有一些内置功能,我可以做一些类似的事情
HCatOutputFormat.setOutput(job, OutputJobInfo.create(dbName, tbName, partitionValues)).limit(1000);
或者类似的东西?
您可以使用内置的MAP_OUTPUT_RECORDS计数器。以下是