如何制作高级设计文档ETL

Question

如果有人在设计etl时分享他们的经验，我将非常感谢

我正在尝试准备高级设计文档。这是我第一次是架构ETL解决方案。

可能有人请帮助我设计时我们必须要注意的是什么。

平面文件每周都来自供应商，我们需要加载和生成报告。

非常感谢

Answer 1

据我所知，我建议基于ETL方法的Azure SQL数据仓库 ELT。

平面文件每周都来自供应商，我们需要加载和生成报告。

此ELT过程定期执行，例如每小时，每天或每周，以将新生成的数据输入数据仓库。

您可以参考以下基本步骤：

1. 将源数据提取到文本文件中。
2. 将数据降落到Azure Blob存储或Azure Data Lake Store中。
3. 准备加载数据。
4. 使用 polybase 。
5. 转换数据。
6. 将数据插入生产表中。

polybase是一项技术，可通过T-SQL语言访问数据库之外的数据。这是将数据加载到SQL数据仓库中的最佳方法。

有关更多详细信息，请参阅本文。