Snowflake外部功能-并行/并发



我有一个关于雪花外部函数并行性的问题。以下是我的理解:

  1. 外部函数将一组要处理的行发送到远程服务(在我的例子中是azure函数httpTrigger(
  2. 远程服务处理这些行并发送输出——每行一个输出

我的问题是,外部函数是否会异步发送多个httpTrigger请求,为每个请求发送一组行。雪花外部函数请求中是否预先构建了并发?我知道Azure中的并发功能可以扩展。你能给我指路吗?

来自文档:

此外,并发估计应该考虑Snowflake可以并行化外部函数调用。来自单个用户的单个查询可能会导致对远程服务的多个并行调用。有几个因素会影响Snowflake对代理服务或远程服务的并发调用数量,包括:

https://docs.snowflake.com/en/sql-reference/external-functions-implementation.html#concurrency

最新更新