Hadoop自定义Mapper输出格式为Reducer

Question

HDFS:非常新

如果我错了，请纠正我，但据我所知：

Mapper<Object, Text, Text, Text>

最后两个Text是Mapper的返回类型。假设我想归还Text, <Text, IntWriteable>。我怎样才能做到这一点？此外，我应该在文档中的哪里查找？

例如，在映射器接收到Object和Text之后，它对输入文件中的数据行进行了一些逻辑处理，我希望它返回类似的东西

context.write(Text,[Text, IntWriteable])

Answer 1

您必须在hadoop中实现自定义可写。我指的是一些网站，可能对有帮助

https://halalhassan.wordpress.com/2013/12/15/custom-writables-in-hadoop-the-right-way/http://www.hadoopmaterial.com/2013/10/custom-hadoop-writable-data-type.html

Answer 2

您可能需要定义自己的数据类型。如果需要比较操作，请实现可写可比较接口，否则只实现可写接口即可。

以下是使用WritableComparable接口的示例：

public class MyDataType implements WritableComparable<MyDataType> {
    private Text name;
    private IntWritable age;
    @Override
    public void readFields(DataInput in) throws IOException {
        name.readFields(in);
        age.readFields(in);
    }
    @Override
    public void write(DataOutput out) throws IOException {
        name.write(out);
        age.write(out);
    }
    @Override
    public int compareTo(MyDataType o) {
        int nameCompare = name.compareTo(o.name);
        if(nameCompare != 0) {
            return nameCompare;
        } else {
            return age.compareTo(o.age);
        }
    }
}