Pyspark:将参数传递给Dataframe中的String Column

Question

我对PySpark很陌生，来自SAS，我仍然不知道如何处理参数(或SAS术语中的宏变量)。

我有一个日期参数，像"202105"并希望将其作为字符串列添加到数据框。像这样:

date = 202105
df = df.withColumn("DATE", lit('{date}'))

我认为这是相当微不足道的，但到目前为止，我没有找到一个确切的答案，我的问题，可能只是太微不足道了…

希望你们能帮我。

问好

Answer 1

您可以使用字符串插值，即{}.format() (or) f'{}'.

Example:

df.withColumn("DATE", lit("{0}".format(date)))
df.withColumn("DATE", lit("{}".format(date)))
#or
df.withColumn('DATE', lit(f'{date}'))