我有一个运行在Azure Synapse专用池上的DWH。
除了现有的夜间/每日ETL进程之外，我还需要添加另一个并行进程，这将降低当前实例的性能。该过程每月只需要在白天运行一周。
与雪花方法类似，是否可以设置独立于的Azure Synapse计算处理相同的数据作为第一个实例?不是数据的副本，而是相同文件中的相同数据。
或者我是否应该每天更改实例大小2次，每月更改1个弱实例?(要求暂停所有活动)
任何建议将不胜感激!
谢谢!
我同意扩展或使用无服务器SQL池是一个很好的选择。
在实施之前，我还会评估您添加的额外(和/或现有)流程是否针对MPP进行了适当优化。首先验证您是否通过利用公共HASH分布尽可能有效地共同定位了数据。通常，首先为SQL server (SMP)编写的ETL需要一些重构才能真正利用MPP的功能。
- 查看长时间运行作业的查询计划-是否有过多的数据广播或洗牌?修复通过更新表发行版
- 是否有最新的统计数据?