我有一个关于雪花外部函数并行性的问题。以下是我的理解:
- 外部函数将一组要处理的行发送到远程服务(在我的例子中是azure函数httpTrigger(
- 远程服务处理这些行并发送输出——每行一个输出
我的问题是,外部函数是否会异步发送多个httpTrigger请求,为每个请求发送一组行。雪花外部函数请求中是否预先构建了并发?我知道Azure中的并发功能可以扩展。你能给我指路吗?
来自文档:
此外,并发估计应该考虑Snowflake可以并行化外部函数调用。来自单个用户的单个查询可能会导致对远程服务的多个并行调用。有几个因素会影响Snowflake对代理服务或远程服务的并发调用数量,包括:
https://docs.snowflake.com/en/sql-reference/external-functions-implementation.html#concurrency