Snowflake任务用于历史数据加载,时间限制



我正在尝试从Snowflake中的一个表到另一个表进行完整的历史加载,包括转换。我预计需要一个多小时。我想安排这个负载并让它在一夜之间运行,这样我就不必保持与网络的连接,也不必冒连接问题的风险。

我尝试使用计划任务来完成此操作。

问题:有60分钟的限制。您可以使其变短(STATEMENT_TIMEOUT_IN_SECONDS=60(,但不能使其显示的时间变长。https://docs.snowflake.net/manuals/user-guide/tasks-ts.html#task-超时或超过计划窗口

还有其他人经历过这种情况并有什么建议吗?

另一种方法是扩大仓库,如果TASK是可并行的,这是有意义的。

这是对每个帐户执行任务的软限制。您应该能够联系Snowflake的支持人员以获得此扩展。

是的,您应该向雪花支持提出一个案例,并请求增加任务限制。请检查完成任务通常需要的时间,并要求设置该时间。限额将在帐户级别设置。此外,开发人员正在开发一个未来的功能,可以在任务级别设置超时。