总结问题
我看到Azure数据工厂的性能特别慢。在StackOverFlow上搜索类似的问题,除了联系支持的建议外,什么都没有找到。我在这里掷骰子,看看是否有人看到过类似的东西,知道如何修复它。
简而言之,我在ADF中尝试的每一次操作都会导致极其缓慢的性能。这包括:
- 从blob存储中提取zip到blob存储
- 将大量小型压缩文件复制到Azure Data Explorer
- 将大量未压缩的小型json文件复制到Azure Data Explorer中
提取ZIP
复制到ADX
在这两种情况下,性能都在每秒千字节的范围内。在这两种情况下,复制/导入最终都会起作用,但可能需要数小时。
描述您尝试过的内容
我试过:
- 使用不同区域
- 创建和使用我自己的Integration Runtime
- 使用可能影响性能的不同参数,例如并行连接等
- 正在联系Microsoft支持人员(他们将我发送到此处(
显示一些代码
没有任何可共享的代码。要复制,只需尝试从blob存储中提取一个zip即可。我的速度约为400KB/s。
总之,如有任何建议,我们将不胜感激。如果我不能完成这一点,我必须手动实现摄入工厂,仔细想想,这听起来比我使用ADF更有趣。
使用"深层"文件夹会影响复制速度。我们应该尽量减少复制活动的深度并增加复制活动的数量。您可以参考此文档对复制活动性能进行故障排除。或者,您可以向Microsoft Azure发送反馈。