SQL Spark - 按日期、月份和年份对时间戳记录进行分组

Question

我有一个看起来像这样的数据帧：

2019-04-17T17:21:00.963+0000    300
2019-04-17T17:21:21.000+0000    194
2019-04-17T17:21:30.096+0000    104
2019-04-17T17:22:00.243+0000    299
2019-04-17T17:22:20.290+0000    222
2019-04-17T17:22:30.376+0000    76
2019-04-17T17:22:50.570+0000    298
2019-04-17T17:23:20.760+0000    298

我想按日、月和年对这些时间戳进行分组，并为小时/分钟创建一个抽象。

query="""
SELECT day(InsertDate) as day,
month(InsertDate) as month,
year(InsertDate) as year,
count(ItemLogID) as value
FROM db_ods_aesbhist.ItemLogMessageInbox
group by day, month, year
ORDER BY value DESC
"""
df_input=spark.sql(query).toPandas().set_index()
display(df_input)

我想出了这个，但它生成了三列，我想继续使用日期作为键。

知道怎么做吗？

Answer 1

刚刚发现to_date()可以解决问题。

标记为已解决！