如何每天将 Redshift S3 卸载的数据复制到 Azure?

Question

我想构建一种机制，每天将数据从 redshift 卸载到 S3 在一个文件夹中，并且数据将每天复制到 Auzre，我想以这样一种方式构建它，以便每天卸载，并且每天都会删除旧的 S3 文件，以便 Azure 将仅获取 Azure SQL 数据库中的最新文件。这能做到吗。我找不到太多关于这个的东西。

Answer 1

ADF 不支持 s3 作为接收器。因此，您无法使用内置复制活动将文件复制到 s3。 但是当源为 Redshift 时，ADF 会提供一个卸载设置，帮助您先将数据卸载到 s3。

然后，您可以专注于将数据从Redshift复制到Azure sql。在这种情况下，可以使用计划触发器或翻转窗口触发器来生成基于每日的管道。