从AWS S3 Parquet文件复制数据-仅限于几行



(代表Snowflake用户提交-搜索任何可用的建议…(

在从AWS S3 Parquet文件复制数据时,我希望根据where条件只选择几行来复制到Snowflake。我已经查看了以下链接(理解复制转换应该允许我在从阶段文件中选择数据时添加一个筛选子句(:

https://docs.snowflake.net/manuals/user-guide/script-data-load-transform-parquet.html

然而,从我看到的示例中,它有助于选择几列而不是几行。我希望根据要加载的条件筛选行。


以前曾建议可以通过应用"Where"子句以相同的方式应用过滤器,但它似乎不适合用户。

有什么建议吗

Copy语句只支持不带where子句的简单select语句。加载期间过滤行的唯一选项是使用限制值和偏移值。
create or replace file format sf_tut_parquet_format type = 'parquet';
create or replace stage sf_tut_stage1 file_format = sf_tut_parquet_format;
create or replace table prqnull1(data variant);
copy into prqnull1 (data) from (select * from @sf_tut_stage1 limit 3 offset 2);

该表包含使用以下数据构建的镶木地板数据。

cutoff_date,name
20081123, Ann
20080913, Beck
20100315, Carren
20110817, Dave
20161219, Emily

据我所知,这是不可能的。您可以限制加载哪些列,但不能限制加载哪些记录。在提供的文档链接中,我没有看到任何内容表明您可以使用WHERE子句。COPY INTO文档也没有提供这种能力。

https://docs.snowflake.net/manuals/sql-reference/sql/copy-into-table.html#type-镶木地板

最新更新