Mapreduce文本文件排序

Question

我们可以按字母顺序对文本文件的每行进行排序吗?是否可以在mapreduce格式中编写java代码?

例如:

 input : it is a lion
         what is her name
         that is crazy
output: it is a lion
        that is crazy
        what is her name

Answer 1

您应该做的是首先创建文件对象，一个file()对象。然后使用bufferReader读取每一行(查找该对象的文档，它是非常自我解释的)。您将使用。readline()方法，因此它将为每行提供一个迭代器。然后，您希望将每行存储在hashmap中，其中键是每行的第一个字母，值是包含该字母的任何行的列表。

完成后，创建StringBuilder对象并按字母顺序添加每一行。

Answer 2

您需要编写一个没有Mapper类和Reducer类的Driver代码。内置的默认IdentityMapper和IdentityReducer将为您完成这项工作。