在尝试从消防水带摄取数据到红移时出错

Question

使用复制命令将数据从fireshose注入红移时出现1206和1205错误

以下是消防水带的原始数据

{
"Name": "yoyo"
"a_timestamp": "2021-05-11T15:02:02.426729Z",
"a_date": "2021-05-11T00:00:00Z"
}

下面是复制命令

COPY pqr_table FROM 's3://xyz/<manifest>' CREDENTIALS 'aws_iam_role=arn:aws:iam::<aws-account-id>:role/<role-name>' MANIFEST json 's3://xyz/abc.json' DATEFORMAT 'YYYY-MM-DD' ;

下面是DDL命令

create table events (
Name varchar(8), 
a_timestamp timestamp,
a_date date)

It would be great if anyone can please help me with this

Answer 1

这些是错误的时间戳和日期格式。你需要有&;timeformat&;因为它不是Redshift的默认格式。我首先尝试这两个'auto'，看看红移是否可以解决问题。

dateformat as 'auto'
timeformat as 'auto'

另外，在日期中指定时间可能会造成一些混乱，可能需要您手动指定格式或摄取时间戳，然后转换为日期。我想先看看"auto"是否可以。