Spark数据帧列字符串(到目前为止)

Question

我想将"yyyyMMdd"的火花数据帧字符串列转换为带有火花会话(火花(的日期格式 - 而不是火花上下文。

由于我没有使用 spark 上下文 (sc(，因此我不能使用以下代码，尽管它会很好地完成我希望它执行的操作：

.withColumn("column1",DF.to_date(F.col("column1"),"yyyyMMdd"))

由于我不想将列转换为时间戳，因此我也不想使用以下代码：

.withColumn("column1", unix_timestamp(col("column1"), "yyyyMMdd").cast("timestamp"))

最终目标是将以前的字符串列替换为日期格式的列。

提前非常感谢！

Answer 1

以下代码工作正常：

.withColumn("column1", to_date(DF["column1"], 'yyyyMMdd'))

感谢您的关注！