如何使用复制活动中的复制前脚本根据源中的更改跟踪表删除接收器中的记录?



我正在尝试使用更改跟踪将数据从SQL Server增量复制到Azure SQL数据库。我按照有关 Azure 文档Microsoft教程进行操作,但在为大量表实现此文档时遇到了一些问题。

在复制活动的源部分中,我可以使用一个查询,该查询为我提供了一个更改表,其中包含自上次更改跟踪版本以来更新、插入或删除的所有记录。此表将如下所示

PersonID   Age    Name   SYS_CHANGE_OPERATION
---------------------------------------------
1          12     John   U
2          15     James  U
3          NULL   NULL   D
4          25     Jane   I

人员 ID 是此表的主键。

问题是复制活动只能将数据追加到 Azure SQL 数据库,因此当记录更新时,它会因为主键重复而出错。我可以通过让复制活动使用将数据合并到 Azure SQL 数据库上的表中的存储过程来处理此问题,但问题是我有大量表。

我希望复制前脚本删除 Azure SQL 数据库上已删除和更新的记录,但我不知道该怎么做。是否需要为要复制的每个表创建单独的存储过程和相应的表类型,或者是否有办法让预复制脚本基于更改跟踪表删除记录?

您必须在复制活动之前使用查找活动。使用该 LookUp 活动,您可以查询数据库,以便获取已删除和更新的 PersonID,最好全部在一个字段中,用逗号分隔(因此在复制前脚本中更易于使用(。更多信息请点击此处:https://learn.microsoft.com/en-us/azure/data-factory/control-flow-lookup-activity

然后,您可以在复制前脚本中执行以下操作:

delete from TableName where PersonID in (@{activity('MyLookUp').output.firstRow.PersonIDs})

这样,您将在插入新行之前删除所有已删除或更新的行。

希望这有帮助!

同时,Azure 数据工厂提供元数据驱动的复制任务。完成对话驱动的设置后,将创建一个元数据表,其中每个要同步的数据集都有一行。我通过为每个要同步的数据集添加存储过程和表类型来解决此 UPSERT 问题。然后我在元数据表中为每一行添加了相关信息,如下所示

{
"preCopyScript": null,
"tableOption": "autoCreate",
"storedProcedure": "schemaname.UPSERT_SHOP_SP",
"tableType": "schemaname.TABLE_TYPE_SHOP",
"tableTypeParameterName": "shops"
}

之后,您需要像这样调整复制任务的接收器属性(存储过程、表类型、表类型参数名称(:

@json(item().CopySinkSettings).storedProcedure
@json(item().CopySinkSettings).tableType
@json(item().CopySinkSettings).tableTypeParameterName

如果目标表不存在,则需要在添加上述变量之前运行一次整个任务,因为只有在接收器属性中未提供存储过程时,自动创建表才有效。

相关内容