雪花云数据平台直接使用外部表暂存 S3 文件



我正在尝试找到一种直接查询csv,json和avro文件的方法,而无需先暂存文件。

有没有办法做到这一点?

到目前为止,我发现的是:

  1. 外部表 https://docs.snowflake.net/manuals/user-guide/tables-external-intro.htm
  2. 另一个叫做FiveTran的工具,可以让我纠正任何自动 文件检测 ->表检测

有没有另一种方法可以直接将文件读取到 Snowflake 而无需暂存文件?

如果您创建引用该 s3 存储桶/位置的 Snowflake"stage"对象,则可以直接在 s3 上查询文件。

详细信息可以在这里找到:

https://docs.snowflake.net/manuals/user-guide/querying-stage.html#querying-data-in-staged-files

在这种情况下,您实际上并没有将数据"加载"到 Snowflake 中,您只是在数据库中创建一个"阶段"对象,结果证明它是指向 s3 位置的"指针"。

我希望这有帮助...富

所有文件都必须在舞台对象引用的内部或外部位置暂存。 可以使用外部表与 Apache Hive 元存储集成,但仍需要一个阶段对象。 它们可能会有所限制且速度较慢,因为数据未存储在 Snowflake 中。

https://docs.snowflake.net/manuals/user-guide/tables-external-hive.html

您不暂存文件试图避免什么?

最新更新