如何标记来自不同目录的特定输入文件

Question

我正在读取两组目录（比如dirA和dirt）作为MapReduce作业的输入，我需要以某种方式对它们进行不同的标记，以便在映射阶段知道哪个来自哪个。有什么建议吗？

Answer 1

您可以使用MultipleInputs进行调查，并为每个输入路径定义不同的映射器，或者检查输入拆分（Context.getInputSplit（）-将其转换为FileSplit并获取路径），并相应地调整输出。