Azure 数据工厂切片

Question

网上有很多演示，其中切片是在myblobcontainer/{Year}/{Month}/{Day}格式或类似格式（即 https://azure.microsoft.com/en-gb/documentation/articles/data-factory-scheduling-and-execution/）的blob上进行的。

现在很明显，这将允许非常轻松地对数据进行切片，因为年月和日的参数已经非常清楚地定义。

不过，我拥有的是更像这样的文件：

myblobcontainer/log_20151231_144229.csv

这显然是YYYYMMDD_HHMMSS.

我想每小时处理一次文件，而不是重新处理任何内容，理想情况下不必过多地重组我的 blob。

有没有人知道我如何只"读取"这些落在我的小时片中的文件？

Answer 1

Blob 数据集中的 folderPath 可以用作路径前缀。所以你可以像"$$Text.Format('myblobcontainer/log_{0:yyyyMMdd}', WindowStart)"一样设置文件夹路径，所有满足前缀的文件都会被复制。