在 pyspark 中将 yyyymmdd 转换为 MM-dd-yyyy 格式

Question

>我有一个大型数据框 df 包含格式为yyyymmdd的日期列，如何在 pySpark 中将其转换为MM-dd-yyyy。

Answer 1

from datetime import datetime
from pyspark.sql.functions import col,udf
from pyspark.sql.types import DateType

rdd = sc.parallelize(['20161231', '20140102', '20151201', '20161124'])
df1 = sqlContext.createDataFrame(rdd, ['old_col'])
# UDF to convert string to date
func =  udf (lambda x: datetime.strptime(x, '%Y%m%d'), DateType())
df = df1.withColumn('new_col', date_format(func(col('old_col')), 'MM-dd-yyy'))
df.show()

Answer 2

这也有效：

from datetime import datetime
from pyspark.sql.functions import col,udf,unix_timestamp
from pyspark.sql.types import DateType

func =  udf(lambda x: datetime.strptime(str(x), '%m%d%y'), DateType())
df2 = df.withColumn('date', func(col('InvcDate')))