提取列值并将其分配给另一列作为Spark DataFrame中的数组

Question

我有一个带有以下列的火花数据框。

C1 | C2 | C3| C4
1  | 2  | 3 | S1
2  | 3  | 3 | S2
4  | 5  | 3 | S2

我想通过从C4列中获取不同的值来生成另一列C5像C5

[S1,S2]
[S1,S2]
[S1,S2]

有人可以帮助我使用Scala在火花数据框架中实现这一目标？

Answer 1

您可能需要从第4列收集不同的项目，然后首先将它们放入列表中，然后使用withColumn通过创建一个始终返回常数列表的udf来创建新列C5：

val uniqueVal = df.select("C4").distinct().map(x => x.getAs[String](0)).collect.toList    
def myfun: String => List[String] = _ => uniqueVal 
def myfun_udf = udf(myfun)
df.withColumn("C5", myfun_udf(col("C4"))).show
+---+---+---+---+--------+
| C1| C2| C3| C4|      C5|
+---+---+---+---+--------+
|  1|  2|  3| S1|[S2, S1]|
|  2|  3|  3| S2|[S2, S1]|
|  4|  5|  3| S2|[S2, S1]|
+---+---+---+---+--------+