自从 Azure 数据工厂处于预览状态以来,我一直在使用它,但一些不同的标志组合仍然让我感到困惑。
情况: 我有一个每日切片间隔管道,其中包含一系列活动(总共 4 个(,这些活动由两个外部数据源链接。目前一切运行良好,但就在切片的末尾运行,即午夜。
数据实际上在切片当天@晚上7点可用,所以我们不需要等待。
解决方案 :因此,如果我将所有外部数据源设置为具有:
"external": true,
"policy": {
"externalData": {
"dataDelay": "-05:00:00" // i.e. 24:00 - 5:00 = 19:00
}
}
这行得通吗?!
我的想法:
- 我是否需要在活动中设置任何内容以匹配?
- 我热衷于不实际更改实际切片的开始/结束,只是在所有数据准备就绪时让它"提前"运行。
- 输出数据集以及管道中所有其他数据集是否也需要设置某些内容?
我在这里问的原因是,如果没有穿越时空的能力,通过反复试验进行调试有点痛苦,所以想要与某人进行检查:)
干杯!
您应该能够将数据设置为在间隔开始时准备就绪。有关 ADF 中计划的文章应回答您的问题,并指出您可以在数据集上设置的相关属性。
您可以通过在输出数据集可用性部分中使用 2 个附加属性来实现此目的:
"availability": {
"frequency": "Day",
"interval": 1,
"offset": "20:00:00",
"style": "StartOfInterval"
}
上述设置将触发管道 @ 每天晚上 8 点 (20:00:00(。
然后在管道中,您需要将开始日期设置为 [任何日期]T20:00:00Z