基于ADF切片的调度和滞后数据

Question

我们有一个数据源，其中包含一个时间表数据，该数据源不是由导出而不是通过事件日期来分区。因此分区可以包含具有以下内容的数据：

1. EventTime = ExportDate（99％）
2. eventtime＆lt;出口（〜1％）

我们希望能够在过去的N天（作为滑动窗口）自动重新运行数据切片。例如，让当前日期为03-15-2017，所以今天我们应该重新处理数据切片：

current date
03-15-2017
past N days
03-14-2017
03-13-2017
...
03-(15-N)-2017

，但看起来ADF在调度程序>或策略节点中没有提供任何选项。所以我的问题是如何使用ADF实施？

Answer 1

我建议您在这里有2个选项...

1）在ADF中创建一个自定义活动，以摄入您描述的滑动窗口。您可以将参数传递给自定义活动，并将其导入一系列文件。当然，这当然是在C＃中写的，因此您几乎可以在这里做任何您需要的事情。

这是我目前能想到的最好的方法，它将为您提供更具动态的灵活性。

2）使用PowerShell cmdlet覆盖给定幻灯片周期的一组时间切片的状态。

例如：

Set-AzureRmDataFactorySliceStatus `
    -ResourceGroupName $ResourceGroup `
    -DataFactoryName $ADFName `
    -DatasetName "YourDataSetName" `
    -StartDateTime 2017-03-01 ` #start, pass as param to be dynamic
    -EndDateTime 2017-03-15 `   #end, pass as param to be dynamic
    -Status "Waiting" ` #Waiting to rerun
    -UpdateType "Individual"

您可以使用Azure自动化触发此功能。不是理想的，但是现在可以解决这个问题，直到ADF中有更全面的时间表。

。

我感谢这两个选项都是理想的。

希望这会有所帮助。