拼花地板如何在S3中存储时间戳数据



我的数据以file_name.snappy.parquet格式存储在S3中。当我在S3中预览此文件时,我得到的时间戳字段为:{"ModifiedOn": 4.535976891407963e+25}

此字段是使用pyspark TimestampType创建的。当我在Athena表中看到这个字段时,它显示为2020-04-18 21:55:41.000,正如预期的那样。但当我尝试手动转换它时,我会得到Monday, May 25, 3407 7:48:34.079 AM。(使用https://www.epochconverter.com/(假设这个时间戳是以纳秒(十亿分之一秒(为单位的。

如何手动获取给定字段的正确日期?

我也花了一段时间才找到这个解决方案。返回的日期时间为INT96格式。要将其转换回儒略日历日期,请关注以下帖子:https://stackoverflow.com/a/58154815/1733222.

相关内容

最新更新