可以通过 Azure 管道将选择性数据从文件加载到 ADW



我想知道我们是否能够通过 Azure 管道将选择性数据从文件加载到 ADW。

我每天都会得到完整的文件,我必须将数据加载到 ADW 中。但我只需要从文件中加载最近 2 天的数据。该文件将具有表示数据的日期。

我已经浏览了管道文档,找不到任何直接从文件中过滤数据的方法。

谁能建议一下是否有可能?

谢谢

如果数据文件是 Blob 存储或数据湖存储中的 csv 文件或类似文件,则可以在 ADW 中创建映射数据文件的外部表。然后,在从外部表加载数据时,可以使用选择查询检索过去 2 天的数据。

/马格纳斯

最新更新