Hadoop:在运行HDFS基准测试后，块是如何被删除的

Question

在我的双datanode设置中，我正在运行TestDFSIO基准测试，并观察到在运行基准测试的最后阶段删除了块。

这似乎是在基准测试结束时执行的清理过程的一部分。日志用以下行确认这一点:

hadoop.mapred.JobTracker: Adding task (JOB_CLEANUP) ...

添加JOB_CLEANUP任务实际上如何与删除块/文件相关联?

我知道TestDFSIO.java有清理方法，但是我无法看到在完成基准执行时如何/if/when调用它们。

Answer 1

Mapper类(Hadoop框架提供)的run()方法调用清理方法:

public void run(Context context) throws IOException, InterruptedException {
  setup(context);
  while (context.nextKeyValue()) {
    map(context.getCurrentKey(), context.getCurrentValue(), context);
  }
  cleanup(context);
}