MapReduce完成后，如何将输出文件导出回CSV格式?

Question

我找不到出路，我怎么能导出Hadoop Mapreduce结果，例如CSV或其他文件格式。

有人知道怎么做吗?我很想知道。

请注意，我指的是Hadoop的结果，例如output1/part.00000

Answer 1

默认情况下，它们实际上是TSV (tab分隔)，您可以通过设置

  mapred.textoutputformat.separator=","

然后你可以通过HDFS -get命令从HDFS下载，或者使用-merge命令将所有part-oo *文件合并到一个本地文件

  hadoop fs -get hdfs://nn.example.com/user/hadoop/file localfile

或

  Usage: hadoop fs -getmerge <src> <localdst> [addnl]

Answer 2

如果您想更改由java map reduce代码生成的键和值对文件之间的分隔符，您可以设置:

mapred.textoutputformat。分隔符