使用增量 ID 作为水印，以便在 Azure 数据工厂管道中复制数据，而不是日期时间

Question

我能够使用时间戳将数据从源 Azure MSSQL DB 增量加载到接收器 Azure MSSQL DB。出于某种原因，我希望使用源数据库中的增量 id 而不是时间戳增量加载数据。这可能吗？

我每天只需要运行一次"复制数据"活动。因此，我还想将每个复制数据活动的批处理 ID 存储在batch_details表中。

我正在使用 ADF v.2

我是 Azure 的新手，我该怎么做？

Answer 1

你问的基本上是本教程中官方文档中解释的内容：https://learn.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-overview

您可以使用任何您想要的水印，本教程使用日期时间值，但增量 id 也可以。

若要每天运行一次管道，请使用触发器：https://learn.microsoft.com/en-us/azure/data-factory/concepts-pipeline-execution-triggers#schedule-trigger

希望这有帮助！