Spark中的保存和读取键值对

Question

我有一个JavaPairRDD，格式如下：

JavaPairRDD< String, Tuple2< String, List< String>>> myData;

我想将其保存为键值格式(String, Tuple2< String, List< String>>)。

myData.saveAsXXXFile("output-path");

所以我的下一份工作可以直接将数据读入我的JavaPairRDD:

JavaPairRDD< String, Tuple2< String, List< String>>> newData = context.XXXFile("output-path");

我使用的是Java 7、Spark 1.2、Java API。我试过saveAsTextFile和saveAsObjectFile，都不起作用。我在eclipse中看不到saveAsSequenceFile选项。

有人对这个问题有什么建议吗？非常感谢！

Answer 1

您可以使用通过scala中的implicits使用的SequenceFileRDDFunctions，但是这可能比使用通常的java建议更糟糕：

myData.saveAsHadoopFile(fileName, Text.class, CustomWritable.class,
                        SequenceFileOutputFormat.class);

通过扩展实现CustomWritable

org.apache.hadoop.io.Writable

这样的东西应该可以工作（没有检查编译）：

public class MyWritable extends Writable{
  private String _1;
  private String[] _2;
  public MyWritable(Tuple2<String, String[]> data){
    _1 = data._1;
    _2 = data._2;
  }
  public Tuple2<String, String[]> get(){
    return new Tuple2(_1, _2);
  }
  @Override
  public void readFields(DataInput in) throws IOException {
    _1 = WritableUtils.readString(in);
    ArrayWritable _2Writable = new ArrayWritable();
    _2Writable.readFields(in);
    _2 = _2Writable.toStrings();
  }
  @Override
  public void write(DataOutput out) throws IOException {
    Text.writeString(out, _1);
    ArrayWritable _2Writable = new ArrayWritable(_2);
    _2Writable.write(out);
  }
}

以便它适合您的数据模型。