Hadoop程序不读取文件的内容

Question

这可能是一个基本的问题，但在map reduce程序中，我想读取inputfolder中存在的所有文件的名称，而不是内容，我想将这些文件的名称发送到我的mapper类。Configuration conf=new Configuration();

    Job job=new Job(conf,"Analysis");
    job.setInputFormatClass(KeyValueTextInputFormat.class);
    //Path pa =new Path("hdfs://localhost:54310/home/aparajith");
    //pa.
    FileInputFormat.addInputPath(job,new Path("/hduser/"));
    FileOutputFormat.setOutputPath(job, new Path("/CrawlerOutput23/"));
    job.setJarByClass(mapper.Mapper1.class);
    job.setMapperClass(mapper.Mapper1.class);
    job.setReducerClass(mapper.Reducer1.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(Text.class);
    System.exit(job.waitForCompletion(true) ? 0 : -1);

Answer 1

如果您想要文件的键和值的名称来自您的映射器:

在您的映射器中，您可以简单地忽略传入的键和值(默认情况下，文件中的位置为LongWritable键，行内容为Text值)，并执行以下操作:

@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    String fileName = ((FileSplit) context.getInputSplit()).getPath().getName();
    // insert remaining mapper logic here
}

获取从映射器中读取当前键和值的文件名。

---

如果您只想将目录中的文件名作为映射器的输入:

您可以遍历输入目录(yourInputDirPath)中的文件，并编写包含其文件名(inputDirFilenamesPath)的新文件，如下所示:

    FSDataOutputStream stream;
    try {
        stream = fs.create(inputDirFilenamesPath);
        RemoteIterator<LocatedFileStatus> it = fs.listFiles(yourInputDirPath, false);
        while (it.hasNext()) {
            stream.write(it.next().getPath().toString().getBytes());
            stream.write('n');
        }
    } finally {
        stream.close();
    }

然后您可以简单地使用FileInputFormat.addInputPath(job, inputDirFilenamesPath);将此文件添加到MR作业的输入中。

Answer 2

最简单的解决方案是将该目录下所有文件的名称放在一个文件中，并将该文件作为作业的输入文件