如何在 Azure Data Lake vs Azure SQL vs Azure Data Lake Analyti



我是Azure的新手,因此试图了解何时以及如何使用哪些服务。

目前,我有一个 excel 文件,其中包含几个选项卡,需要一些转换才能创建一个 excel 文件选项卡(在源文件本身内部 - 说选项卡"x"(。然后,创建的最后一个选项卡"x"对于创建一个共享给各个团队的最终 excel 文件很有用。

目前,一切都是手动完成的。

这需要改变,并且必须自动化共享给团队的 excel 文件。该文件的来源是具有各种选项卡(不包括选项卡">x"(的 excel 文件,报告工具将是 SSRS,其中 Excel 数据存储在云中。

请记住这种情况,将 Excel 数据存储到云中的最佳方法是什么?Excel 数据将每月存储在云中。我很困惑是否将数据存储在Azure-SQL,Azure Data Lake Gen 2或Azure Data Lake Analytics或Azure SQL VM中?

每个月都可以从 Excel 文件中提取数据,并使用 Azure 数据工厂填充到 Azure 中。但是我不确定在云中存储数据的最佳方法是什么,因为需要一些 ETL 过程来生成类似于选项卡">X"格式的数据。

我认为您可以考虑使用Azure SQL数据库。

Azure SQL 数据库或 SQL 服务器支持从 excel( 或 csv( 文件导入数据。有关更多详细信息和限制,请参阅:将数据从 Excel 导入 SQL Server 或 Azure SQL 数据库。

如果数据已存储在 Azure SQL 数据库中,则还可以使用 EXCEL 从 Azure SQL 数据库中获取数据:

将 Excel 连接到 Azure SQL 数据库中的单个数据库,并根据数据库中的值导入数据并创建表和图表。在本教程中,您将设置 Excel 和数据库表之间的连接,保存存储数据和 Excel 连接信息的文件,然后根据数据库值创建数据透视图。

参考:将数据从 Excel 导入到 SQL Server 或 Azure SQL 数据库。

我认为您不需要将这些 excel 文件存储在 Azure Data Lake 中.Azure Data Lake Storage Gen2 是一组专用于大数据分析的功能,基于 Azure Blob 存储构建。它仍然是一个存储。

使用的 Azure 资源越多,需要支付的成本就越高

如果 Excel 文件存储在本地计算机中,则可以使用 Azure 数据工厂访问这些本地文件,也可以使用自主机集成运行时访问这些本地文件。

请参考:使用 Azure 数据工厂将数据复制到文件系统或从文件系统复制数据。

希望这有帮助。

您的存储要求非常低,因此我会选择Data Lake来存储您的文档。另一种选择是 Blob Storage,但我总是更喜欢 Data Lake,因为它适用于 Azure Active Directory。

在你的方案中,将其放在 ADL 中,并将 ADL 用作 Azure 数据工厂中的源。

编辑:

老实说,您的原始帖子有点令人困惑。您有一个 RAW Excel 文档,对 RAW 文档执行一些转换,以生成 Excel 源文档。此源文档包含开发团队将用于生成 SSRS 报表的最终数据集。是否需要将此数据集提供给团队,以便他们可以连接到该数据集以生成报表?我的建议是保持简单,将 Excel 格式的最终源数据集放入 blob 或数据湖存储中,然后要求开发人员从该位置获取它。如果要设计和维护数据管道(Blob>数据工厂> SQL,或 CSV、TSV(,则会引入不必要的复杂性。

最新更新