在 mapreduce 中使用错误文件杀死映射器

Question

你好，我需要杀死包含错误文件的映射器。在映射器中解析文件时，如果文件包含错误，则应杀死当前映射器并丢弃该文件。具有正确文件的其他映射器应继续，并且整个作业应成功。

Answer 1

根据文件输入格式，映射器一次可能会也可能不会处理整个文件。通常，每个映射器都会一次处理一个拆分。

如果存在任何解析问题，您可以简单地跳过处理记录并从映射器返回。无需杀死映射器。如果你杀死了那个映射器，MapReduce作业将失败。

因此，只需跳过处理并从映射器返回即可。