如何将存储为 bigint 的 Java 时间戳转换为 Presto 中的时间戳



几天来我一直在寻找这个。

如果我的 avro 配置单元表中数据的架构是:

{
  "type" : "record",
  "name" : "messages",
  "namespace" : "com.company.messages",
  "fields" : [ {
    "name" : "timeStamp",
    "type" : "long",
    "logicalType" : "timestamp-millis"
  }, {
  …

我使用 presto 来查询这个,我没有格式化的时间戳。

select "timestamp", typeof("timestamp") as type,
current_timestamp as "current_timestamp", typeof(current_timestamp) as current_type
from db.messages limit 1
timestamp     type   current_timestamp                  current_type
1497210701839 bigint 2017-06-14 09:32:43.098 Asia/Seoul timestamp with time zone

我认为将它们转换为毫秒精度的时间戳不是问题,但我发现我没有明确的方法来做到这一点。

select cast("timestamp" as timestamp) from db.messages limit 1
line 1:16: Cannot cast bigint to timestamp

此外,他们还更改了 presto 的时间戳转换,以始终假设源以秒为单位。https://issues.apache.org/jira/browse/HIVE-3454

因此,如果我使用from_unixtime()我必须砍掉毫秒,否则它会给我一个非常遥远的日期:

select from_unixtime("timestamp") as "timestamp" from db.messages limit 1
timestamp  
+49414-08-06 07:15:35.000

当然,与Presto合作的其他人更经常知道如何正确表达转换。(顺便说一句,我无法重新启动 Presto 或 Hive 服务器以强制时区为 UTC(。

我没有找到从 Java 时间戳(自 1970 年以来的毫秒数(到时间戳的直接转换,但可以通过to_unixtime并添加毫秒作为间隔来完成:

presto> with t as (select cast('1497435766032' as bigint) a)
     -> select from_unixtime(a / 1000) + parse_duration(cast((a % 1000) as varchar) || 'ms') from t;
          _col0          
-------------------------
 2017-06-14 12:22:46.032 
(1 row)

(诚然很麻烦,但有效(

选择 from_unixtime(cast(event_time as bigint(/1000000(

+ parse_duration(cast((cast(event_time as bigint( % 1000( as varchar( ||"ms"(,来自表名限制 10;

相关内容

  • 没有找到相关文章

最新更新