如何在Apache Spark中用Java将DataFrame转换为Dataset

Question

我可以很容易地在Scala中将DataFrame转换为Dataset：

case class Person(name:String, age:Long)
val df = ctx.read.json("/tmp/persons.json")
val ds = df.as[Person]
ds.printSchema

但在Java版本中，我不知道如何将Dataframe转换为Dataset？有什么想法吗？

我的努力是：

DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = new Encoder<>();
Dataset<Person> ds = new Dataset<Person>(ctx,df.logicalPlan(),encoder);
ds.printSchema();

但是编译器说：

Error:(23, 27) java: org.apache.spark.sql.Encoder is abstract; cannot be instantiated

编辑（解决方案）：

基于@Leet Falcon答案的解决方案：

DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = Encoders.bean(Person.class);
Dataset<Person> ds = new Dataset<Person>(ctx, df.logicalPlan(), encoder);

Answer 1

官方Spark文档在数据集API中建议如下：

Java编码器是通过调用编码器上的静态方法来指定的。

List<String> data = Arrays.asList("abc", "abc", "xyz");
Dataset<String> ds = context.createDataset(data, Encoders.STRING());

编码器可以组成元组：

Encoder<Tuple2<Integer, String>> encoder2 = Encoders.tuple(Encoders.INT(), Encoders.STRING());
List<Tuple2<Integer, String>> data2 = Arrays.asList(new scala.Tuple2(1, "a");
Dataset<Tuple2<Integer, String>> ds2 = context.createDataset(data2, encoder2);

或者由编码器从JavaBeans构建#bean:

Encoders.bean(MyClass.class);

Answer 2

如果您想在Java中将通用DF转换为数据集，您可以使用RowEncoder类，如下面的

DataFrame df = sql.read().json(sc.parallelize(ImmutableList.of(
            "{"id": 0, "phoneNumber": 109, "zip": "94102"}"
    )));
    Dataset<Row> dataset = df.as(RowEncoder$.MODULE$.apply(df.schema()));