在hadoop Map-Reduce中,如何知道map任务结束或文件拆分结束



Hadoop中的映射任务处理输入文件的64/128 MB拆分。它从输入拆分的第一行开始处理,直到结束。我需要了解如何知道地图任务何时完成处理其输入拆分。换句话说,在洗牌和排序开始之前。Hadoop库中有什么方法可以回答我的问题吗?

Mapper类的cleanup方法允许您在映射器处理完输入拆分时执行代码,只需以与覆盖map方法相同的方式重写它即可。

如果这不是你所追求的,也许Counter可以解决你的问题?

相关内容

  • 没有找到相关文章

最新更新