检测数据管道中的数据异常,触发数据管道调度



在Foundry中,我们有一个数据管道,我们想在其中插入一个代码节点(repo或工作簿)来检测异常,然后发送电子邮件或其他一些关于问题的警报。

在文档中找不到这个,有人能给我指出来吗?

理想情况下,我们喜欢让代码触发Scheduler进行管道运行以创建REPORT,(甚至可能是Quiver,以进行一些时间轴分析)。这可能吗?文档中有示例吗?

查看数据运行状况中的文档平台文档的部分。有许多可能的模式,包括在代码中定义数据期望。

无论是定义为期望还是数据集健康检查,失败都可以设置为在平台内创建问题,这可以有默认的分配者(个人或组),也将发送通知,这些通知既可以在平台中也可以通过电子邮件发送(取决于每个用户的配置)。

运行状况检查失败还将自动填充Project Catalog视图中的数据运行状况选项卡,该选项卡可以用作仪表板,以查看项目的总体运行状况。还可以根据数据运行状况在数据沿沿性视图中显示这些问题,以了解整个管道范围内的问题。

有关管道运行状况的全面方法,请查看管道和最佳实践Code Repositories文档。

最新更新