我们在Azure synapse中为专用SQL池提供dwu选项,从100 dwu开始,每个文档由计算+内存+IO组成。
但是如何检查它是什么类型的计算节点?因为在文档中说100 DWU由1个计算60个发行版和60 GB内存组成。
但是这里计算节点的配置是什么?
或者如果我们找不到配置,如何计算处理10GB数据所需的dwu。
专用SQL池(以前称为SQL DW)表示正在供应的分析资源的集合。分析资源被定义为CPU、内存和IO的组合。
这三种资源被捆绑成计算规模的单位,称为数据仓库单位(dwu)。DWU是对计算资源和性能的抽象的、标准化的度量。
计算节点的配置是什么?如何检查它是什么类型的计算节点?
每个计算节点都有一个在系统视图中可见的节点ID。可以通过在名称以sys.pdw_nodes开头的系统视图中查找node_id列来查看计算节点ID。
有关这些系统视图的列表,请参见Synapse SQL系统视图。
如何计算处理10GB数据所需的dwu
专用SQL池(以前的SQL DW)是扩展可以提供大量计算的系统和查询大量数据.
要了解其真正的扩展能力,特别是在更大的dwu时,我们建议在扩展时扩展数据集,以确保有足够的数据来为cpu提供数据。
有关更多信息,请参阅Azure Synapse Analytics中专用SQL池(以前称为SQL DW)的数据仓库单元(dwu)。
你认为处理10GB的数据需要多少核?这是一个相当复杂的问题。你的查询在做什么?你要做20个self join吗?需要多少tempdb空间?最好的方法是针对您的特定工作负载运行实验并调整大小,以便使用80%的可用资源。