我已经为雪花表中的一个创建了snowpipe。源文件将定期登录到AWS S3存储桶中,因此请按照以下步骤创建雪管:
- 创建外部舞台
- 使用";PUT";命令(能够在结果面板中查看可用文件的列表(
- 创建了雪管
- 在S3存储桶顶部配置了SQS通知
- 添加了一个示例文件,并自动加载其noy
- 使用以下命令更改了雪管:alter pipe snowpipe_content refresh
- 一段时间后,该文件被添加到雪花目标表中
有人能帮我弄清楚我在雪管设置上错过了什么吗
按照以下设置排除雪管故障:
步骤:I:检查雪管的状态:选择SYSTEM$PIPE_STATUS("管道名称"(;确保您的管道状态为RUNNING
步骤:II:检查与snowpipe关联的表的复制历史记录:选择*从…起table(information_schema.copy_history(table_name=>'table_name',start_time=>dateadd(hours,-1,current_timestamp((((;
Ensure the file is not loaded from the list / errored.
第三步:验证雪管负载选择*从…起表(validate_pipe_load(管道名称=>'pipe_name',start_time=>dateadd(小时,-1,current_timestamp((();
如果以上步骤看起来不错,可能是您的SQS通知设置有问题:
通过以下链接关注雪花文章:雪花KB