如何转换int值从csv到datetime在Spark SQL?

Question

有这样的Spark SQL查询:

spark.sql("""SELECT date, delay, origin, destination 
FROM us_delay_flights_tbl 
WHERE delay > 120 AND ORIGIN = 'SFO' AND DESTINATION = 'ORD' 
ORDER by delay DESC""").show(10)

Viewus_delay_flights_tblfrom next csv:

日期、延迟、距离、出发地、目的地

01011245, 6602年,安倍ATL

01020600, -8369年,安倍DTW

01021245, -2602年,安倍ATL

01020605, -4602年,安倍ATL

01031245, -4602年,安倍ATL

01030605, 0602年,安倍ATL

如何转换字段日期日期在下一个格式:02-19 09:25 am从字符串02190925在我的sql查询?

现在，结果看起来像:

<表类>日期延迟起源目的地tbody><<tr>021909251638SFO奥德01031755396SFO奥德

to_date将字符串转换为date，表示所有的"时间";部分(小时/分/秒)丢失。您应该使用to_timestamp函数而不是to_date，如下所示:

date_format(to_timestamp(date, 'MMddHHmm'), 'MM-dd hh:mm a')