如何使用 Azure 数据工厂将本地文件系统文件复制到 Blob 时跳过现有文件

Question

我已经设置了一个管道，可以将大量文件从本地提升到 blob 存储。有没有办法让计划管道忽略以前上传的文件？理想情况下，它将基于上次修改时间文件属性工作。

我正在考虑的选项之一是将此管道设置为 OneTime，并仅在我需要同步文件时才启动它，但这里有两个问题：

• 我希望此管道不涉及手动活动，例如执行作业或将文件移动到时间切片文件夹
• 它仍然会提升大量的GB数据

这样做

的正确模式是什么？

Answer 1

使用 ADF V2，可以使用 get 元数据活动来获取 lastModifed 属性来实现此目的。然后，您可以链接一个 if 活动来检查上次修改的时间。