ADF减少复制活动的队列时间



我正在尝试复制从HTTP源提供的备份文件,下载URL仅有效60秒,复制步骤在完成之前超时(超时设置为1分1秒(。它有时会完成,但非常不一致。当它完成步骤排队大约40秒时,其他时候它将排队超过一分钟,当它最终下载文件时,链接已经过期。这是一个正在下载的压缩JSON文件,小于100KB。

Source和Sink数据集都使用我们创建的托管VNet IR(由于公司政策,必须在Sink上使用(,在Source上使用AutoResolve IR,这需要更长的排队时间。

我已经在copy活动中尝试了我能想到的"最大并发连接"、"DIU"one_answers"复制并行度"的所有变体,但似乎没有任何效果。如果队列时间短到足以成功下载,则这似乎是随机的。

有没有办法加快排队过程,尝试获得更一致的成功下载?

Source和Sink数据集都使用我们拥有的托管VNet IR已创建(由于公司策略,必须在接收器上使用(,使用在源上自动解析IR,这需要更长的排队时间。

这非常令人困惑。如果您的源和接收器位于托管VNet中,则您的IR也应位于相同的管理VNet,以获得更好的安全性和性能。

根据本官方文件:

根据设计,托管VNet IR比Azure IR需要更长的队列时间,因为我们没有为每个服务实例保留一个计算节点,因此存在为每个要启动的复制活动进行预热,它主要发生在VNet加入而不是Azure IR.

由于没有保留节点,因此没有任何可能的方法来加快队列进程。

相关内容

  • 没有找到相关文章

最新更新