Azure数据工厂复制活动非常缓慢



总结问题

我看到Azure数据工厂的性能特别慢。在StackOverFlow上搜索类似的问题,除了联系支持的建议外,什么都没有找到。我在这里掷骰子,看看是否有人看到过类似的东西,知道如何修复它。

简而言之,我在ADF中尝试的每一次操作都会导致极其缓慢的性能。这包括:

  • 从blob存储中提取zip到blob存储
  • 将大量小型压缩文件复制到Azure Data Explorer
  • 将大量未压缩的小型json文件复制到Azure Data Explorer中

提取ZIP

复制到ADX

在这两种情况下,性能都在每秒千字节的范围内。在这两种情况下,复制/导入最终都会起作用,但可能需要数小时。

描述您尝试过的内容

我试过:

  • 使用不同区域
  • 创建和使用我自己的Integration Runtime
  • 使用可能影响性能的不同参数,例如并行连接等
  • 正在联系Microsoft支持人员(他们将我发送到此处(

显示一些代码

没有任何可共享的代码。要复制,只需尝试从blob存储中提取一个zip即可。我的速度约为400KB/s。

总之,如有任何建议,我们将不胜感激。如果我不能完成这一点,我必须手动实现摄入工厂,仔细想想,这听起来比我使用ADF更有趣。

使用"深层"文件夹会影响复制速度。我们应该尽量减少复制活动的深度并增加复制活动的数量。您可以参考此文档对复制活动性能进行故障排除。或者,您可以向Microsoft Azure发送反馈。

相关内容

  • 没有找到相关文章

最新更新