在PySpark中用时区在日期时间范围之间筛选镶木地板文件

Question

根据这里的建议，我想知道如何使用PySpark过滤带有时区的日期时间范围。

以下是我的数据：

ABC，2020-06-22T19:17:16.428+000

DEF，2020-06-22T19:17:16.435+000

JKL，2020-06-22T19:17:16.468+000

MNO，2020-06-22T19:17:16.480+0000

XYZ，2020-06-22T19:17:16.495+0000

在这种情况下，我只想提取那些毫秒数在400-450之间的记录。

尝试过，但没有成功：

import pyspark.sql.functions as func
df = df.select(func.to_date(df.UpdatedOn).alias("time"))
sf = df.filter(df.time > '2020-06-22T19:17:16.400').filter(df.time < '2020-06-22T19:17:16.451')

Answer 1

当您使用to_date时，它会截断小时数，因此您必须使用to_timestamp并进行比较。

df.withColumn('date', to_timestamp('date')) 
.filter("date between to_timestamp('2020-06-22T19:17:16.400') and to_timestamp('2020-06-22T19:17:16.451')") 
.show(10, False)
+---+-----------------------+
|id |date                   |
+---+-----------------------+
|ABC|2020-06-22 19:17:16.428|
|DEF|2020-06-22 19:17:16.435|
+---+-----------------------+