Hadoop MapReduce WordCount 如何将输入作为<键、值>对？

Question

WordCount MapReduce应用程序如何将输入作为一组<key,>对吗?它似乎需要输入一组单词。

来自Apache Hadoop MapReduce教程:

1. "MapReduce框架只操作<key,>也就是说，框架将对作业的输入视为一组<key,>对…"

2. "(input) <k1,> -> map"

Answer 1

本教程尚未详细介绍。每个MapReduce程序都定义了一个InputFormat和一个OutputFormat。

InputFormat定义给定记录的键和值。

RecordReader定义了给定输入文件中的记录是什么。(还有一点)

在WordCount程序中，默认的InputFormat是TextInputFormat，它以LongWritable作为键，Text作为每条记录的值;这个程序中的每个记录都是一行(默认情况下)。这里的键是行的字节偏移量，值是文本行。我想你错过了这个部分，从教程