我正在使用 Azure 数据工厂的复制活动从日常文件夹中选取 Blob 存储中的分隔文本文件。这些列将映射并复制到表存储实体。这一切都很好用。
我希望每组实体都使用正确的数据切片(SliceStart(进行分区,理想情况下是作为复合分区键(SliceStart加上附加的其他一些属性(的一部分,否则,表实体本身的属性。
这样,管道中的下一步(.NET 自定义活动(就可以获取正确的每日数据集。我知道我可以将当前的 SliceStart 作为扩展属性传递给 .NET 自定义活动,但是此活动如何使用 SliceStart 值查询表存储数据以仅隔离匹配日期的实体?
我无法可靠地使用时间戳,因为切片可能会排队或延迟,然后在同一天一起处理多个切片。在这种情况下,它们都具有相同的时间戳,因此我无法区分不同的日期。
使用 ADF V2,您可以实现此目的。对 azureTableDefaultPartitionKeyValue 属性使用表达式。如果您使用的是计划触发器,则将 trigger((.scheduledTime 传递给它。您还可以使用翻转窗口触发器。