如何在Hadoop映射作业中访问目录中的文件

Question

for(FileStatus status : status_list)
{
  FileInputFormat.addInputPath(job5, status.getPath());
}

我想知道我已经在输入路径中添加了目录文件。 现在，如何在Hadoop地图中使用？

Answer 1

你需要

使用MultipleInputs类而不是FileInputFormat。框架工作将负责为您生成映射器的每个文件的键、值对。