如果我的partitioner类返回n个分区,并且在主函数中我有job.setNumReduceTasks(1),那么将启动多少reduce任务,将创建多少输出文件?
- 一次只运行一个分区,因为您设置了
job.setNumReduceTasks(1)
- 输出文件的数量将是n,因为所有分区最终都会得到处理。如果数据未处理,Reducer任务将重新启动。在您的情况下,Reducer将运行
n
次