Hadoop中的映射任务处理输入文件的64/128 MB拆分。它从输入拆分的第一行开始处理,直到结束。我需要了解如何知道地图任务何时完成处理其输入拆分。换句话说,在洗牌和排序开始之前。Hadoop库中有什么方法可以回答我的问题吗?
Mapper
类的cleanup
方法允许您在映射器处理完输入拆分时执行代码,只需以与覆盖map
方法相同的方式重写它即可。
如果这不是你所追求的,也许Counter
可以解决你的问题?