MR作业中处理字节数组的最佳方法

Question

我需要在MR作业的比较器中比较字节数组，但找不到处理字节数组的好方法，序列化/反序列化的对象有以下字段：

public class GeneralKey {
  String name;
  String type;
  ...other String fields ..
}
@Override 
public void readFields(DataInput input) throw IOException {
  name = input.readUTF();
  type = input.readUTF();
  ...
}
@Override
public void write(DataOutput output) throws IOException {
  output.writeUTF(name);
  output.writeUTF(type);
  ...
}

序列化的字节数组如下所示：name：[0,0]2字节，这2字节表示名称的长度，因为它是0，name为空type:[0,3,96,97,98]5个字节，前2个字节是类型的长度，意味着类型的值是3个字节长，所以需要读取以下3个字节：96,97,98，这是字符串中的"abc"。

想知道是否有更好的方法来处理字节数组，它可以将前两个字节读取为整数，然后可以决定接下来读取多少字节以将它们转换为字符串。我使用hadoop1.0.3并在AWS中运行该作业，我尝试了hbase的Bytes类，但由于某种原因，它给我带来了class not found错误java.lang.ClassNotFoundException：org.apache.hdoop.hbase.util.Bytes

是否还有其他库可以用来轻松处理字节数组？感谢

Answer 1

我使用了一个字节数组作为键和值，但使用了以下内置类型：字节可写