Spark中对java的用户定义类型的支持

Question

spark中是否支持java的UDT？

将JavaRDD转换为JavaSchemaRDD时，JavaSQLContext是否支持用户定义类型（UDT）？

如果是，是否有任何样品可以证明这种能力。

Answer 1

是的，最简单的方法是通过反射来推断它。请参阅SparkSQL文档，然后单击Java选项卡

利用反射推断模式

从评论中编辑

我不确定Java API是否像scala那样容易充实，所以为了嵌套类型，您可能需要自己构建模式：

//First create the address
List<StructField> addressFields = new ArrayList<StructField>();
fields.add(DataType.createStructField("street", DataType.StringType, true));    
StructType addressStruct = DataType.createStructType(addressFields)
//Then create the person, using the address struct
List<StructField> personFields = new ArrayList<StructField>();
fields.add(DataType.createStructField("name", DataType.StringType, true));
fields.add(DataType.createStructField("age", DataType.IntType, true));
fields.add(DataType.createStructField("address", addressStruct, true));
StructType schema = DataType.createStructType(fields);