如何从数组中找到"lowest"元素<struct>？

Question

我有一个具有以下架构的数据帧 -

|-- ID: string (nullable = true)
|-- VALUES: array (nullable = true)
|    |-- element: struct (containsNull = true)
|    |    |-- _v1: string (nullable = true)
|    |    |-- _v2: string (nullable = true)

值就像 -

[["1","a"],["2","b"],["3","c"],["4","d"]]
[["4","g"]]
[["3","e"],["4","f"]]

我想取最小整数的值，即结果 df 应如下所示 - （现在是 StructType，而不是 Array[Struct]）

["1","a"]
["4","g"]
["3","e"]

有人可以指导我如何通过创建udf来解决此问题吗？提前谢谢。

Answer 1

你不需要UDF。只需使用sort_array并选择第一个元素。

df.show
+--------------------+
|            data_arr|
+--------------------+
|[[4,a], [2,b], [1...|
|             [[1,a]]|
|      [[3,b], [1,v]]|
+--------------------+
df.printSchema
root
 |-- data_arr: array (nullable = false)
 |    |-- element: struct (containsNull = false)
 |    |    |-- col1: string (nullable = false)
 |    |    |-- col2: string (nullable = false)

import org.apache.spark.sql.functions.sort_array
df.withColumn("first_asc", sort_array($"data_arr")(0)).show
+--------------------+---------+
|            data_arr|first_asc|
+--------------------+---------+
|[[4,a], [2,b], [1...|    [1,c]|
|             [[1,a]]|    [1,a]|
|      [[3,b], [1,v]]|    [1,v]|
+--------------------+---------+

Answer 2

使用与示例中相同的数据帧：

val findSmallest = udf((rows: Seq[Row]) => {
    rows.map(row => (row.getAs[String](0), row.getAs[String](1))).sorted.head
})
df.withColumn("SMALLEST", findSmallest($"VALUES"))

将给出这样的结果：

+---+--------------------+--------+
| ID|              VALUES|SMALLEST|
+---+--------------------+--------+
|  1|[[1,a], [2,b], [3...|   [1,2]|
|  2|             [[4,e]]|   [4,g]|
|  3|      [[3,g], [4,f]]|   [3,g]|
+---+--------------------+--------+

如果只想获得最终值，请使用 select("SMALLEST) 。