在Hadoop中添加整个文件文本作为映射键

Question

我正在寻找一种方法来加载整个文件文本到我的地图。而不是像TextInputFormat那样一次只写一行。
所以当我在映射中输入value.toString时它会给我整个输入

Answer 1

你必须把每一行放入StringBuilder，直到你到达文件的末尾。或者重写提供此功能的自己的RecordReader。但我不建议这样做。

Answer 2

我会将文件的路径名放到映射器中，然后将其完全自由加载或做某种流处理。