我的AmazonS3路径如下:
s3://dev-mx-allocation-storage/ph_test_late_waiver/{year}/{month}/{day}/{flow_number}*.csv
我需要创建一个从S3到Snowflake的管道,在那里,一个月中的每一天都会有一个新的csv文件放入bucket中,并且该csv文件应该插入到雪花表中。
我对这件事很陌生,我能在雪花中得到一个可以做到这一点的命令吗?
Snowpipe非常适合数据的实时需求,因为它基于触发器加载数据,并且可以管理大量连续的加载。数据量和加载数据的计算/存储资源由Snowflake云管理,这就是它被宣传为无服务器功能的原因。如果管理的事情少了一件,那么把精力集中在我们自己的应用程序开发上就更好了!
分步指南:https://medium.com/@walton.cho/auto-ingest-nowpipe-on-s3-85a798725a69