我有一个管道,其中包含从parquet到azure sql的多个复制活动(23(。我遇到了低拷贝吞吐量(23kb/s(的问题。有什么方法可以改进吗?
集成运行时是azure,而不是自托管的IR。
数据集成单元(DIU(是一种衡量Azure数据工厂和Synapse管道中单个单元能力的指标。电源是CPU、内存和网络资源分配的组合。DIU仅适用于Azure集成运行时。DIU不适用于自托管集成运行时。
更多详细信息:https://learn.microsoft.com/en-us/azure/data-factory/copy-activity-performance
与其他答案一样,增加DIU是增加复制活动吞吐量的主要方法。
您可以尝试不同的DIU设置来调整复制活动,并查看您的性能。当我这样做的时候,我已经确定了我的副本的最大DIU。使用两倍数量的DIU每小时的成本是原来的两倍,但速度是原来的一倍,所以并不贵。
如果增加DIU并不能提高你的性能,那么它可能与你的";源";以及";水槽";。什么是";源";你的拼花锉刀?你的azure sql接收器能处理所有的写入吗?