如何构建增量数据加载?



我找到了这个博客(https://learn.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-overview)并尝试了一下,它对移动数据黑白SQL服务器和Azure数据库非常有帮助,但是我如何构建这样的东西来在本地SQL Server和Azure数据仓库的B/w中复制数据?

是否有任何我可以开始使用的链接。

我找到了各种链接,但是当我谈论Delta数据加载时,它们不是很合理?

有什么方法可以使用ADF V1来实现这一点吗??或者这只能使用ADF V2

指南的更改跟踪部分仍然相关。你需要某种方法来确定需要推送到 Azure SQL DW 的 SQL Server 本地实例上的增量数据是什么。不同的是如何将增量数据推送到 SQL DW。

如果你有使用 SSIS 生成的内容,它将与 SQL DW 一起使用。下载适用于 SSIS 的 Azure 包以获取 SQL DW 优化的工作流。如果您已经使用它或可以启动另一个服务,ADF 也可以执行相同的操作。

在最简单的情况下,可以将增量数据导出到 csv 文件,使用 azcopy 推送到 blob 存储,然后通过外部表插入到 SQL DW 中。对于小型数据集,这工作得很好,可以使用脚本自动执行,以最大程度地降低风险和劳动力。大型数据集将更加棘手,因为插入是昂贵的完全记录操作。查看批量加载的最小日志记录,以获取有关如何插入的提示.....可以最低限度地记录 SELECT 及其发生的条件。虽然分区是一种有效的策略,但对于大多数环境来说,对于每日增量负载来说,这不是一个好主意,主要是因为没有足够的数据来构建具有聚集列存储表的高质量行组。这可能会导致查询性能不佳,直到重新生成索引。每天优化单个加载操作而不是每天数十、数百或数千个查询通常不是正确的权衡。

相关内容

  • 没有找到相关文章

最新更新