在hadoopmapreduce程序中,dos-mapper类是必需的



正如我所知,如果驱动程序类中没有提到mapper类,那么它也将使用相同的身份映射器用于reducer。但如果不编写任何映射器类,谁将调用hdfs输入数据并进行处理并发送到reducer。

Mapper类是必需的。正如您所说,如果您没有在驱动程序中指定Mapper类,那么将使用IdentityMapper。

但如果不编写任何映射器类,谁将调用hdfs输入数据并进行处理并发送到reducer。

因此,如果您没有编写任何映射器类,IdentityMapper将处理输入数据(在驱动程序类中指定)并将其发送到reducer。

边缘情况:在某些情况下,mapper不会读取输入数据,而是随机生成自己的数据,例如mapreduce示例中的PiEstimator不会读取输入的数据,而是生成随机数据并将该数据传递给reducer。TeraGen也做同样的事情。

相关内容

  • 没有找到相关文章

最新更新