若partitioner类创建了多个分区,但reduce任务的数量设置为较少



如果我的partitioner类返回n个分区,并且在主函数中我有job.setNumReduceTasks(1),那么将启动多少reduce任务,将创建多少输出文件?

  1. 一次只运行一个分区,因为您设置了job.setNumReduceTasks(1)
  2. 输出文件的数量将是n,因为所有分区最终都会得到处理。如果数据未处理,Reducer任务将重新启动。在您的情况下,Reducer将运行n

相关内容

  • 没有找到相关文章

最新更新