Snowpipe支持从GCS(谷歌云存储)外部阶段加载数据



(一个用户提出的有趣问题,值得在这个论坛上发帖)


我们正在尝试从GCS获取数据,并希望使用Snowdipe REST API进行此操作,但目前我们没有成功。你们能告诉我们GCS是否支持Snowpipe吗(既可以用于连续加载,也可以通过REST端点触发)。此外,如果不支持,我们能否知道GCS何时支持Snowpipe。

(以下答案最初由Snowflake技术客户经理提供)


到目前为止,GCS不支持雪管。它是为未来计划的。对于时间表,我们需要联系Snowflake的支持。

https://community.snowflake.com/s/article/3-27-Release-Notes-June-4-2019

虽然不是Snowpipe,但您可以通过利用一些本地GCP功能来实现GCP存储桶中文件的自动加载,我可以通过以下三个步骤做到这一点:

1、创建GCP PubSub主题-说明:https://cloud.google.com/pubsub/docs/admin

2、创建一个GCP"云函数",将副本发布到命令中,以本文为参考:https://medium.com/@phil.goerdt/使用-gcp-b30a84f04b6d 自动匹配您的-snowflake-数据库克隆

进一步说明:https://cloud.google.com/functions/docs/quickstart-console

3,在您的存储桶上创建GCP"通知",这是当文件到达或更新GCS存储桶时将调用的"触发器"。

gsutil notification create -t projects/gcpProjectNameHere/topics/gcpTopicNameHere -e OBJECT_FINALIZE -f json -p parentBucketFolder/childBucketFolder/ gs://gcpBucketNameHere

它几乎没有Snowpipe那么酷,但它应该会起作用,祝你好运!

最新更新