雪花雪管文件在将文件添加到AWS s3后不会自动摄取



我已经为雪花表中的一个创建了snowpipe。源文件将定期登录到AWS S3存储桶中,因此请按照以下步骤创建雪管:

  • 创建外部舞台
  • 使用";PUT";命令(能够在结果面板中查看可用文件的列表(
  • 创建了雪管
  • 在S3存储桶顶部配置了SQS通知
  • 添加了一个示例文件,并自动加载其noy
  • 使用以下命令更改了雪管:alter pipe snowpipe_content refresh
  • 一段时间后,该文件被添加到雪花目标表中

有人能帮我弄清楚我在雪管设置上错过了什么吗

按照以下设置排除雪管故障:

步骤:I:检查雪管的状态:选择SYSTEM$PIPE_STATUS("管道名称"(;确保您的管道状态为RUNNING

步骤:II:检查与snowpipe关联的表的复制历史记录:选择*从…起table(information_schema.copy_history(table_name=>'table_name',start_time=>dateadd(hours,-1,current_timestamp((((;

Ensure the file is not loaded from the list / errored.

第三步:验证雪管负载选择*从…起表(validate_pipe_load(管道名称=>'pipe_name',start_time=>dateadd(小时,-1,current_timestamp((();

如果以上步骤看起来不错,可能是您的SQS通知设置有问题:

通过以下链接关注雪花文章:雪花KB

相关内容

  • 没有找到相关文章

最新更新