从本地MySQL提取数据并将其转换为Azure Synapse数据仓库



我正在尝试在Azure Synapse中设置一个演示数据仓库。我想从本地MySQL数据库中提取数据,转换和聚合一些数据,并将其实际存储在Azure Synapse Analytics中。

目前我有一个Azure SQL数据仓库和数据工厂的实例。我在数据工厂中创建了一个到MySQL数据库的连接,我的想法是,我可以使用这个连接器作为新数据流的输入,它转换数据集并将其存储到我的目标数据集,该数据集链接到我的Azure Synapse数据仓库。

问题是,数据工厂只支持一些Azure服务,如Azure Data Lake或Azure SQL数据库作为新数据流的源。

解决这个问题的最佳实践是什么?创建Azure SQL数据库的实例,将数据从本地MySQL数据库复制到Azure SQL数据库,然后将其用作新数据流的源?

这里的最佳实践是使用ADF管道中的Copy Activity将数据从MySQL降落到Blob或ADLS G2中的Parquet中,然后使用数据流转换数据。

最新更新