Copy Data Sink Validation

Question

如何使用复制数据活动检查接收值

我的数据来源:sourcedatasset: Source_SQL_DBDestinationDataset: Destination_SQL_DBSourceTable: SourceTableName列:姓名，年龄，性别，地点DestinationTable:目的表名列:姓名、年龄、性别、位置

下面是我的场景:在移动到sinkTable之前，我必须通过检查Destination不应该有值来验证Source在Copy data上，可以直接加载数据，

1. 如何在源查询中传递位置，因为我的源将仅连接到源数据集

   select * from SourceTableName where Location in (select distinct Location from DestinationTableName)

2. 如何检查目标数据集表中是否存在名称，如果存在名称，则不应插入数据

   select * from SourceTableName where name not in (select distinct name from DestinationTableName )

Answer 1

假设您的源和接收都是sql，您可以使用查找活动来获取名称和位置列表，以逗号分隔，并将它们保存在变量中或直接在源查询中使用。

另一种方法是将源数据加载到staging表中，然后利用存储过程活动。最后一种方法是使用数据流