将S3增量复制到azure blob

Question

我正在探索将S3 Blob增量复制到azure Blob的方法。我尝试了azure数据工厂，但找不到这个选项。

S3有数百万个对象，如果没有增量选项，它需要数小时才能完成。

我愿意探索其他工具/选项。

Answer 1

如果您需要每天/每小时增量复制，则可以选择定时/滚动窗口触发器。这里有一个例子可供参考。ADFv2还支持复制中的压缩，您可以指定s3对象的压缩类型和级别，单击此处了解更多信息。