Spark:将数据框中的列与它们之间的字符相结合

Question

我在火花数据框架中有许多列，我想将其组合到一个列中，并在每个列之间添加一个分离字符。我不想将所有列与将它们分开的角色组合在一起，只是其中一些。在此示例中，我想在前两列以外的所有值之间添加一个管道。

这是一个示例输入：

+---+--------+----------+----------+---------+
|id | detail | context  |     col3 |     col4|
+---+--------+----------+----------+---------+
| 1 | {blah} | service  | null     | null    |
| 2 | { blah | """ blah | """blah} | service |
| 3 | { blah | """blah} | service  | null    |
+---+--------+----------+----------+---------+

预期的输出将是这样的：

+---+--------+----------+----------+---------+--------------------------------+
|id | detail | context  |     col3 |     col4| data 
+---+--------+----------+----------+---------+--------------------------------+
| 1 | {blah} | service  | null     | null    | service||
| 2 | { blah | """ blah | """blah} | service | """blah|"""blah}|service
| 3 | { blah | """blah} | service  | null    | """blah}|service|
+---+--------+----------+----------+---------+--------------------------------+

目前，我有以下内容：

val columns = df.columns.filterNot(_ == "id").filterNot(_ =="detail")
val nonulls = df.na.fill("")
val combined = nonulls.select($"id", concat(columns.map(col):_*) as "data")

上面的列将列组合在一起，但不会添加其他字符。如果我尝试了这些可能性，但显然我做得不正确：

scala> val combined = nonulls.select($"id", concat(columns.map(col):_|*) as "data")
scala> val combined = nonulls.select($"id", concat(columns.map(col):_*, lit('|')) as "data")
scala> val combined = nonulls.select($"id", concat(columns.map(col):_*|) as "data")

任何建议都将不胜感激！:)谢谢！

Answer 1

这应该做技巧：

val columns = df.columns.filterNot(_ == "id").filterNot(_ =="detail") 
val columnsWithPipe = columns.flatMap(colname => Seq(col(colname),lit("|"))).dropRight(1)
val combined = nonulls.select($"id",concat(columnsWithPipe:_*) as "data")

Answer 2

只需使用concat_ws函数...它与您选择的分离器相连。

它被导入导入org.apache.spark.sql.functions.concat_ws