使用Java代码在hadoop中读取CSV文件格式

Question

如何在eclipse IDE中使用Java代码在Hadoop中读取CSV文件格式?

我有一个非常大的CSV格式文件，我想访问HDFS中的CSV文件，以便执行map reduce程序。请任何人帮助我解决这个问题。

我想让Java代码访问该文件。

Answer 1

您可以将该文件作为输入传递给映射器。文件的行将成为映射器的值。

class FileMapper extends Mapper<LongWritable, Text> {
    @Override
    public void map(LongWritable key, Text value, Context context) {
    // process your CSV records here.
    }
}

Answer 2

创建自己的CSVInputFormatCSVInputFormat