Spark SQL 将数组扩展到多个列

Question

我正在存储来自 S3 中预言机源的每行更新的 json 消息。JSON 结构如下

{
    "tableName": "ORDER",
    "action": "UPDATE",
    "timeStamp": "2016-09-04 20:05:08.000000",
    "uniqueIdentifier": "31200477027942016-09-05 20:05:08.000000",
    "columnList": [{
        "columnName": "ORDER_NO",
        "newValue": "31033045",
        "oldValue": ""
    }, {
        "columnName": "ORDER_TYPE",
        "newValue": "N/B",
        "oldValue": ""
    }]
}

我正在使用 spark sql 根据唯一标识符的最大值查找每个键的最新记录。columnList 是一个数组，其中包含表的列列表，我想连接多个表并获取最新的记录。如何将一个表的 json 数组中的列与另一个表中的列连接起来。有没有办法将 json 数组分解为多列.例如，上面的 json 将ORDER_NO作为一列，ORDER_TYPE作为另一列。如何基于列名称字段创建具有多列的数据框例如：新的RDD应该有列（tableName，action，timeStamp，uniqueIdentifier，ORDER_NO，ORDER_NO）ORDER_NO和ORDER_NO字段的值应从 json 中的 newValue 字段映射。

Answer 1

通过使用 RDD API 以编程方式创建架构，为此找到了解决方案。

  Dataset<Row> dataFrame = spark.read().json(inputPath);
    dataFrame.printSchema();
    JavaRDD<Row> rdd = dataFrame.toJavaRDD();
    SchemaBuilder schemaBuilder = new SchemaBuilder();
    // get the schema column names in appended format
    String columnNames = schemaBuilder.populateColumnSchema(rdd.first(), dataFrame.columns());

SchemaBuilder是一个自定义类，它获取rdd详细信息并返回分隔符分隔的列名。然后使用 RowFactory.create 调用，将 json 值映射到架构。文档参考 http://spark.apache.org/docs/latest/sql-programming-guide.html#programmatically-specifying-the-schema