Azure 数据工厂禁止管道双重运行



我知道这可能是一个有点令人困惑的标题,但不能更好地达到任何水平。问题...我有一个包含 3 个活动的 ADF 管道,首先是复制到数据库,然后是 2 次存储过程。所有这些都由天触发,并使用 WindowEnd 读取正确的目录或将数据传递给 SP。

我无法将导入日期输入到我们正在接收的 XML 文件中。

所以我正在尝试将其添加到第一个 SP 中。问题是,一旦管道中的第一个操作完成,就会启动另外 2 个操作。

同一切片中的第二个操作是添加日期的 SP,但如果加载了相同的历史记录,则管道会再次启动另一个切片的副本。

所以我弄混了数据。正如您在"最后一次尝试开始"中看到的那样。有人知道如何避免这种情况吗?

ADF 监控

万一有人遇到类似的问题。我已经通过使用每日命名表解决了这个问题。每个切片将其数据放入一个临时表中,后_YYYYMMDD,可以设置为"tableName": "$$Text.Format('[stg].[filesin_1_{0:yyyyMMdd}]', SliceEnd)"。所以现在再也没有并行性的问题了。唯一的缺点是,SP首先必须使用动态SQL,因为他们从中选择的表名是可变的。但这并不是一个大的编码问题。像魅力一样工作!

相关内容

  • 没有找到相关文章

最新更新