Azure 数据工厂并发



我有一个自定义的Dotnet活动,我通过ADF运行,它基本上连接到Azure Blob存储,获取它解析的blob的租约。尽管我在设置中将并发性设置为 10,并且看到 10 个作业在 UI 上并行运行,但我在 blob 上只看到 4 个锁(只有 4 个 blob 被租用并在进程中解析(。因此,我的假设是,尽管其他 6 个作业正在运行,但它们什么也没做?ADF 中的并发性是否有任何限制?我正在开始我以前的 10 个切片,所以我不必等待 15 分钟让未来的切片开始。这是一个 ADF 并发错误,一次最多运行 4 个,还是我做错了什么。

了解任何帮助!

我能想到的一个约束,可能会限制并发切片执行的数量,即批处理帐户中批处理池的maxTasksPerNode属性,通过该属性可以指定池中每个节点的最大任务数。此值最多可以是节点核心数的 4 倍。

以下是关于该主题的一些额外编辑:https://learn.microsoft.com/en-us/azure/batch/batch-parallel-node-tasks#enable-parallel-task-execution

相关内容

  • 没有找到相关文章

最新更新