Azure数据工厂:所有活动之前/之后的通用逻辑



目标

我将在ADF管道之上实现自定义审计。我的ADF管道由不同类型的活动组成:摄取、Databricks、将结果加载到数据仓库等。在每个活动的开始和结束时,我想向审计数据库写入一些信息。

问题

我不喜欢用额外的审计活动来包装每个管道活动。我想为所有活动提供一些共同的方面/建议。但我想这不是民主同盟军应该使用的方式。

当然,用审计来包装自定义Databricks/Python代码很容易,但吸收/上传活动如何?

问题

在所有ADF管道活动之前/之后,实现自定义逻辑的最佳方式是什么

P.S

在ApacheNiFi中,可以访问NiFi的日志,并构建一个单独的并行管道,解析日志并将其写入审计数据库。请参阅文章。据我所知,我可以配置ADF将日志写入Azure存储。然后从那里读取日志并写入审计数据库。但这听起来像是一个糟糕的设计。有更好的选择吗?

据我所知,除了您提到的方法之外,没有直接的方法可以做到这一点,即在处理前和处理后逻辑之间封装每个活动,并通过将您的信息记录到接收器来进行审计,然而,我认为如果活动本身就开始支持ADF中的预处理和后处理事件,并允许调用webhook,这样任何预处理和处理后的数据都可以发送到webhook上,这将是一个很好的功能。

此外,您可以在上向团队提交想法或建议feedback.azure.com/forums/270578-数据工厂

相关内容

  • 没有找到相关文章