使用复合键 - hadoop在使用值时迭代时，关键更改的一部分

Question

我已经在hadoop上实现了次要排序，我真的不了解框架的行为。

我创建了一个复合键，其中包含原始密钥和值的一部分，用于排序。

为了实现这一目标，我已经实施了自己的分区

public class CustomPartitioner extends Partitioner<CoupleAsKey, LongWritable>{
@Override
public int getPartition(CoupleAsKey couple, LongWritable value, int numPartitions) {
    return Long.hashCode(couple.getKey1()) % numPartitions;
}

我自己的组比较器

public class GroupComparator extends WritableComparator {
protected GroupComparator()
{
    super(CoupleAsKey.class, true);
}
@Override
public int compare(WritableComparable w1, WritableComparable w2) {
    CoupleAsKey c1 = (CoupleAsKey)w1;
    CoupleAsKey c2 = (CoupleAsKey)w2;
    return Long.compare(c1.getKey1(), c2.getKey1());
}

}

并以以下方式定义了这对夫妇

public class CoupleAsKey implements WritableComparable<CoupleAsKey>{
private long key1;
private long key2;
public CoupleAsKey() {
}
public CoupleAsKey(long key1, long key2) {
    this.key1 = key1;
    this.key2 = key2;
}
public long getKey1() {
    return key1;
}
public void setKey1(long key1) {
    this.key1 = key1;
}
public long getKey2() {
    return key2;
}
public void setKey2(long key2) {
    this.key2 = key2;
}
@Override
public void write(DataOutput output) throws IOException {
    output.writeLong(key1);
    output.writeLong(key2);
}
@Override
public void readFields(DataInput input) throws IOException {
    key1 = input.readLong();
    key2 = input.readLong();
}
@Override
public int compareTo(CoupleAsKey o2) {
    int cmp = Long.compare(key1, o2.getKey1());
    if(cmp != 0)
        return cmp;
    return Long.compare(key2, o2.getKey2());
}
@Override
public String toString() {
    return key1 + ","  + key2 + ",";
}

}

这是驱动程序

Configuration conf = new Configuration();
    Job job = new Job(conf);
    job.setJarByClass(SSDriver.class);
    job.setMapperClass(SSMapper.class);
    job.setReducerClass(SSReducer.class);
    job.setMapOutputKeyClass(CoupleAsKey.class);
    job.setMapOutputValueClass(LongWritable.class);
    job.setPartitionerClass(CustomPartitioner.class);
    job.setGroupingComparatorClass(GroupComparator.class);
    FileInputFormat.addInputPath(job, new Path("/home/marko/WORK/Whirlpool/input.csv"));
    FileOutputFormat.setOutputPath(job, new Path("/home/marko/WORK/Whirlpool/output"));
    job.waitForCompletion(true);

现在，这起作用了，但是真正奇怪的是，在简化器中迭代键的键时，键的第二部分（值部分）会在每种迭代中变化。为什么以及如何？

 @Override
protected void reduce(CoupleAsKey key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
    for (LongWritable value : values) {
        //key.key2 changes during iterations, why?
        context.write(key, value);
    }
}

Answer 1

定义说"如果您希望在发送给单个还原器的数据的分区中所有相关行那些键将发送到a 单个减少呼叫，而不是键将从复合（或其他）变为仅包含完成分组的密钥部分的东西。<<<<<<<<

但是，当您迭代值时，相应的键也会更改。通常，我们不会观察到这种情况，因为默认情况下，值分组在相同的（非复合）键上，因此，即使值变化，（值的值）键保持相同。

您可以尝试打印键的对象引用，并且您应该注意到，在每次迭代中，键的对象参考也在更改（如这样）：）

IntWritable@1235ft
IntWritable@6635gh
IntWritable@9804as

另外，您也可以尝试以以下方式在插图上应用小组启动器（您必须编写自己的逻辑才能这样做）：

Group1:    
1        a    
1        b    
2        c
Group2:
3        c
3        d
4        a

您会看到，随着每一个价值的每一次迭代，您的钥匙也在改变。