将数组<string>转换为字符串 pyspark 数据帧

Question

我有一个pyspark数据框，其中一些列包含字符串数组（一列包含嵌套数组）。结果，我无法将数据框写入CSV。

这是我要处理的数据框的示例 -

    +-------+--------------------+---------+
    |ID     |             emailed| clicked
    +-------+--------------------+---------+
    |9000316|[KBR, NRT, AOR]     |[[AOR]]  
    |9000854|[KBR, NRT, LAX]     | Null 
    |9001996|[KBR, JFK]          |[[JFK]] 
    +-------+--------------------+---------+

我想获得以下结构，以保存为CSV。

    +-------+--------------------+---------+
    |ID     |             emailed| clicked
    +-------+--------------------+---------+
    |9000316|KBR, NRT, AOR       | AOR  
    |9000854|KBR, NRT, LAX       | Null 
    |9001996|KBR, JFK            | JFK 
    +-------+--------------------+---------+

我是Pyspark的新手。非常感谢您的帮助。谢谢！

Answer 1

您可以这样尝试吗？您将必须导入模块

import pyspark.sql.functions.*
df.select(concat_ws(',', split(df.emailed)).alias('string_form')).collect()

让我知道是否有帮助。

-----更新----

链接中解释的代码，我修改了一些。

from pyspark.sql.functions import *
from pyspark.sql.types import *
def getter(column):
    col_new=''
    for i,col in enumerate(column):
        if i==0:
           col_new=col
        else:
           col_new=col_new+','+col
    return col_new
getterUDF = udf(getter, StringType())
df.select(getterUDF(Ur_Array_Column))

您也可以尝试。