将 kv 对的火花数据帧数组透视到各个列中

Question

我有以下模式：

root
|-- id: string (nullable = true)
|-- date: timestamp (nullable = true)
|-- config: struct (nullable = true)
|    |-- entry: array (nullable = true)
|    |    |-- element: struct (containsNull = true)
|    |    |    |-- key: string (nullable = true)
|    |    |    |-- value: string (nullable = true)

数组中不会有超过 3 个键值对 (k1，k2，k3(，我想将每个键的值放入其自己的列中，而相应的数据将来自同一 kv 对的值。

+--------+----------+----------+----------+---------+
|id      |date      |k1        |k2        |k3       |
+--------+----------+----------+----------+---------+
|    id1 |2019-08-12|id1-v1    |id1-v2    |id1-v3   |
|    id2 |2019-08-12|id2-v1    |id2-v2    |id2-v3   |
+--------+----------+----------+----------+---------+

到目前为止，我尝试了这样的事情：

sourceDF.filter($"someColumn".contains("SOME_STRING"))
.select($"id", $"date", $"config.entry" as "kvpairs")
.withColumn($"kvpairs".getItem(0).getField("key").toString(), $"kvpairs".getItem(0).getField("value"))
.withColumn($"kvpairs".getItem(1).getField("key").toString(), $"kvpairs".getItem(1).getField("value"))
.withColumn($"kvpairs".getItem(2).getField("key").toString(), $"kvpairs".getItem(2).getField("value"))

但在这种情况下，列名显示为kvpairs[0][key]、kvpairs[1][key]和kvpairs[2][key]，如下所示：

+--------+----------+---------------+---------------+---------------+
|id      |date      |kvpairs[0][key]|kvpairs[1][key]|kvpairs[2][key]|
+--------+----------+---------------+---------------+---------------+
|    id1 |2019-08-12|    id1-v1     |    id1-v2     |   id1-v3      |
|    id2 |2019-08-12|    id2-v1     |    id2-v2     |   id2-v3      |
+--------+----------+---------------+---------------+---------------+

两个问题：

• 我的方法对吗？有没有更好、更简单的方法来解决这个问题 这样我每个数组得到一行，将 3 kv 对作为 3 列？我想处理 kv 对顺序可能不同的情况。
• 如果上述方法没问题，如何将列名别名化为数组中"key"元素的数据？

Answer 1

将多个withColumn与getItem一起使用是行不通的，因为 kv 对的顺序可能不同。相反，您可以做的是分解数组，然后按如下方式使用pivot：

sourceDF.filter($"someColumn".contains("SOME_STRING"))
.select($"id", $"date", explode($"config.entry") as "exploded")
.select($"id", $"date", $"exploded.*")
.groupBy("id", "date")
.pivot("key")
.agg(first("value"))

此处聚合中first的使用假定每个键都有一个值。否则可以使用collect_list或collect_set。

结果：

+---+----------+------+------+------+
|id |date      |k1    |k2    |k2    |
+---+----------+------+------+------+
|id1|2019-08-12|id1-v1|id1-v2|id1-v3|
|id2|2019-08-12|id2-v1|id2-v2|id2-v3|
+---+----------+------+------+------+