每天从S3存储桶加载一个新文件到Snowflake表



我的AmazonS3路径如下:

s3://dev-mx-allocation-storage/ph_test_late_waiver/{year}/{month}/{day}/{flow_number}*.csv

我需要创建一个从S3到Snowflake的管道,在那里,一个月中的每一天都会有一个新的csv文件放入bucket中,并且该csv文件应该插入到雪花表中。

我对这件事很陌生,我能在雪花中得到一个可以做到这一点的命令吗?

Snowpipe非常适合数据的实时需求,因为它基于触发器加载数据,并且可以管理大量连续的加载。数据量和加载数据的计算/存储资源由Snowflake云管理,这就是它被宣传为无服务器功能的原因。如果管理的事情少了一件,那么把精力集中在我们自己的应用程序开发上就更好了!

分步指南:https://medium.com/@walton.cho/auto-ingest-nowpipe-on-s3-85a798725a69

相关内容

最新更新