通过Azure Data Lake和power BI进行数据分析(加入mongoDB和SQL数据)



我们在Azure上托管了一个使用mongoDB(在VM上运行(和Azure SQL dbs的应用程序。这个想法是建立一个基本的数据分析管道;加入";这两个DB之间的数据,并且使用功率BI在视觉上显示相同的数据

例如,我们有一个";用户";SQL中的表;id";和一个";数据";mongo中具有引用"的表;id"+SQL中具有"id"引用的其他表。因此,我们希望根据用户分析数据的内容,并可能根据需要将其与其他表进一步结合。

azure数据湖+power BI足以实现这个案例吗?或者我们需要azure数据分析或azure突触?

Azure Data Lake(ADL(和Power BI本身将无法构建管道,ADL只是一个存储区域,Power BI是一个受功能和容量限制的轻量级ETL工具。

强烈建议您在使用Azure Synapse时拥有更好的计算能力。这将能够有一个定义的管道来协调数据移动到数据湖,然后进行处理以转换数据。

Power BI本身将无法做到这一点,因为如果运行Pro,您仍将受到1GB数据流和数据集大小的限制。Azure Synapse确实包含Azure数据工厂管道、Apache Spark和Azure SQL数据仓库,因此您可以在Spark和SQL之间选择数据转换步骤,因为两者都将连接到数据湖。

注意:Azure Data Lake Analytics(ADLA((和USQL(不是MS的主要关注点,也从未被广泛使用。Azure Databricks和带有Spark的Azure Synapse在MS 的所有现代数据管道和架构示例中都取代了ADLA

最新更新