Azure Data Explorer vs Azure Synapse Analytics (a.k.a SQL DW



我为一家大型物联网公司设计了一个数据管理策略。我们的用例非常典型,我们吸收大量数据,对其进行分析,并生成数据集,客户可以查询这些数据集来了解他们需要的见解。

我同时查看了Azure Data Explorer和Azure Synapse Analytics(也称为Azure SQL数据仓库(的数据仓库端,发现了许多共性。是的,它们在后端使用不同的语言和不同的查询引擎,但两者都充当"查询引擎";服务层";客户用来大规模查询只读数据。我找不到微软关于如何在两者之间做出选择的任何明确指导,或者把它们一起使用是有意义的?在这种情况下,每个服务的最佳用例或数据类型是什么?

如果你能启发我,请在这里分享你的想法。如果你知道一些关于这件事的指导,请回复一个链接。

经典和现代数据仓库模式首先涉及设计一个精心策划的数据模型,其中包含文档化的实体及其属性,创建一个定时ETL管道,将大小原始数据转换和聚合到数据模型中。然后加载并提供服务。在整个企业中使用这些实体时,精心策划的数据模型提供了稳定性、一致性和可靠性。

Azure Data Explorer被设计为用于遥测的分析数据平台。在这个工作负载中,您不会首先聚合数据,但实际上会使其接近原始格式,因为您不想丢失数据。它允许您处理安全攻击、故障、竞争行为以及一般未知的意外性质,因为它允许从不同角度查看新的原始数据,并提供很大的灵活性。这就是为什么Azure Data Explorer是Microsoft Telemetry的存储设备,也是一套不断增长的分析解决方案,如:Azure Monitor、Azure Security Center、Azure Sentinel、Azure Time Series Insights、IoT Central、PlayFab游戏分析、Windows Intune analytics、Customer Insights和Teams Education分析等。对原始数据提供高性能分析,对文本、半结构化和结构化数据提供读模式功能。我们的许多合作伙伴和客户出于同样的原因采用ADX。查看详细描述这些概念的概览网络研讨会。

Azure Synapse Analytics打包了SQL DW、ADF和Spark,使所有数据仓库模式组件高度集成,更易于使用和管理。正如我们在Azure Data Explorer虚拟活动上宣布的那样,Azure Data Explorer正在与SQL和Spark池一起集成到Azure Synapse Analytics中,以满足遥测工作负载的需求-对高速、大容量、高多样性数据的实时分析。

查看Buhler、Daimler video、story、Bosch、AGL的一些物联网案例,还有更多领先的物联网平台正在为此采用Azure Data Explorer。如果您需要其他帮助,请联系我们。

最新更新