几天来我一直在寻找这个。
如果我的 avro 配置单元表中数据的架构是:
{
"type" : "record",
"name" : "messages",
"namespace" : "com.company.messages",
"fields" : [ {
"name" : "timeStamp",
"type" : "long",
"logicalType" : "timestamp-millis"
}, {
…
我使用 presto 来查询这个,我没有格式化的时间戳。
select "timestamp", typeof("timestamp") as type,
current_timestamp as "current_timestamp", typeof(current_timestamp) as current_type
from db.messages limit 1
timestamp type current_timestamp current_type 1497210701839 bigint 2017-06-14 09:32:43.098 Asia/Seoul timestamp with time zone
我认为将它们转换为毫秒精度的时间戳不是问题,但我发现我没有明确的方法来做到这一点。
select cast("timestamp" as timestamp) from db.messages limit 1
line 1:16: Cannot cast bigint to timestamp
此外,他们还更改了 presto 的时间戳转换,以始终假设源以秒为单位。https://issues.apache.org/jira/browse/HIVE-3454
因此,如果我使用from_unixtime()
我必须砍掉毫秒,否则它会给我一个非常遥远的日期:
select from_unixtime("timestamp") as "timestamp" from db.messages limit 1
timestamp +49414-08-06 07:15:35.000
当然,与Presto合作的其他人更经常知道如何正确表达转换。(顺便说一句,我无法重新启动 Presto 或 Hive 服务器以强制时区为 UTC(。
我没有找到从 Java 时间戳(自 1970 年以来的毫秒数(到时间戳的直接转换,但可以通过to_unixtime
并添加毫秒作为间隔来完成:
presto> with t as (select cast('1497435766032' as bigint) a)
-> select from_unixtime(a / 1000) + parse_duration(cast((a % 1000) as varchar) || 'ms') from t;
_col0
-------------------------
2017-06-14 12:22:46.032
(1 row)
(诚然很麻烦,但有效(
+ parse_duration(cast((cast(event_time as bigint( % 1000( as varchar( ||"ms"(,来自表名限制 10;