如何使用Spark SQL或PySpark将2019-08-22T23:57:57-07:00
格式的时间戳转换为unixtime?
我知道的最相似的函数是unix_timestamp()
它不接受上述带有 UTC 偏移量的时间格式。
关于如何使用Spark SQL或PySpark来处理这个问题的任何建议?
谢谢
在这种情况下,ISO 8601时区的javaSimpleDateFormat
模式是XXX
。
因此,您需要使用yyyy-MM-dd'T'HH:mm:ssXXX
作为格式字符串。
火花
spark.sql(
"""select unix_timestamp("2019-08-22T23:57:57-07:00", "yyyy-MM-dd'T'HH:mm:ssXXX")
AS epoch"""
).show(truncate=False)
#+----------+
#|epoch |
#+----------+
#|1566543477|
#+----------+
火花数据帧
from pyspark.sql.functions import unix_timestamp
df = spark.createDataFrame([("2019-08-22T23:57:57-07:00",)], ["timestamp"])
df.withColumn(
"unixtime",
unix_timestamp("timestamp", "yyyy-MM-dd'T'HH:mm:ssXXX")
).show(truncate=False)
#+-------------------------+----------+
#|timestamp |unixtime |
#+-------------------------+----------+
#|2019-08-22T23:57:57-07:00|1566543477|
#+-------------------------+----------+
请注意,pyspark 只是 spark 上的一个包装器 - 通常我发现 scala/java 文档比 python 文档更完整。将来可能会有所帮助。