ADF 数据集可用性



自从 Azure 数据工厂处于预览状态以来,我一直在使用它,但一些不同的标志组合仍然让我感到困惑。

情况: 我有一个每日切片间隔管道,其中包含一系列活动(总共 4 个(,这些活动由两个外部数据源链接。目前一切运行良好,但就在切片的末尾运行,即午夜。

数据实际上在切片当天@晚上7点可用,所以我们不需要等待。

解决方案 :因此,如果我将所有外部数据源设置为具有:

"external": true,
"policy": {
"externalData": {
"dataDelay": "-05:00:00" // i.e. 24:00 - 5:00 = 19:00
}
}

这行得通吗?!

我的想法:

  • 我是否需要在活动中设置任何内容以匹配?
  • 我热衷于不实际更改实际切片的开始/结束,只是在所有数据准备就绪时让它"提前"运行。
  • 输出数据集以及管道中所有其他数据集是否也需要设置某些内容?

我在这里问的原因是,如果没有穿越时空的能力,通过反复试验进行调试有点痛苦,所以想要与某人进行检查:)

干杯!

您应该能够将数据设置为在间隔开始时准备就绪。有关 ADF 中计划的文章应回答您的问题,并指出您可以在数据集上设置的相关属性。

您可以通过在输出数据集可用性部分中使用 2 个附加属性来实现此目的:

"availability": {
"frequency": "Day",
"interval": 1,
"offset": "20:00:00",
"style": "StartOfInterval"
}

上述设置将触发管道 @ 每天晚上 8 点 (20:00:00(。

然后在管道中,您需要将开始日期设置为 [任何日期]T20:00:00Z

相关内容

  • 没有找到相关文章

最新更新