SparkSQL数据框中的两个列如何合并

Question

我有一个像这样的sql sql dataframe：

df.select("FirstName","F_Name","Dept").show()
FirstName|F_Name|Dept
---------------------
Alfred   |null  |c1
null     |Jarvis|c2
Jeeves   |null  |c1

我希望能够合并一个名称和f_name，以便我可以拥有一个看起来像这样的表：

Name  |Dept
-----------
Alfred|c1
Jarvis|c2
Jeeves|c1

我尝试使用煤层，但没有起作用：

df.select("coalesec(FirstName,F_Name) as Name","Dept").show() 

Pyspark或Scala的做法都会有所帮助。

谢谢一堆。

Answer 1

cocece函数正是您要寻找的

df.select(coalesce(df.col("FirstName"),df.col("F_Name")).alias("Name"), df.col("Dept")).show()