从AWS S3复制到Snowflake比平时花费更多的时间

Question

我们正试图使用复制命令将数据从AWS S3加载到Snowflake阶段，这比平时花费了更多的时间，文件大小为3 GB(此大小包括文件夹中现有的所有文件(。下面是复制命令。

`

create or replace stage mystage
url='s3://s3bucket/folder'
storage_integration=myparquet
file_format = (type = parquet) PURGE=TRUE;
copy into mytable
from @mystage/mytable/
pattern='.*.[.]parquet'
MATCH_BY_COLUMN_NAME = CASE_INSENSITIVE TRUNCATECOLUMNS = TRUE force=TRUE;`

请告诉我，我们如何快速加载。谢谢，

Answer 1

你说过，这比平时花更多的时间。在这种情况下，我假设您对相同大小的仓库使用相同的命令来处理相同数量的数据。在这种情况下，不可能仅通过查看SQL命令来诊断问题。如果你还没有检查，你可以将你的良好跑步与当前(糟糕(跑步进行比较，看看现在是否有什么不同。

如果我是你，我会向Snowflake support提交一张支持票。他们可以调查查询日志、执行统计信息，并为您提供一些见解，帮助您提高性能。