Oozie worflow,将mapreduce操作配置为仅在一组文件上运行reducer/combiner



我想在oozie工作流中为现有的mapreduce jar(包括mapper、reducer,有时还有combiner)文件配置一个mapreduced操作,这样只有reducer/combiner在输入文件上运行。

所有MapReduce作业都必须运行映射阶段,但是您可以让映射器通过以下任一方式直接传递数据:

  • 在使用IdentityMapper的旧MR API中
  • 在新的MR API中,完全不指定映射器类,这将默认为用作标识映射器的基本Mapper

相关内容

  • 没有找到相关文章

最新更新