使用 Power BI 监视 ADF 管道状态

Question

有什么方法可以将 ADF 管道元数据提取到 Power BI 中。我想要数据集名称、切片开始和结束时间和状态等详细信息。

Answer 1

我不确定门户中是否有内置数据集或功能(ADF V2(，但我这样做的方法是使用 Python SDK，我基本上获取每个活动运行的元数据，不确定您是否正在使用 ADF V2 以及您是否正在使用 Python(.NET 有类似的函数(

更多细节在这里

 def _get_activity_metadata(self, pipeline_run_id, start_time, end_time, activity_name):
     act_runs = self.adf_client.activity_runs.list_by_pipeline_run(self.resource_group_name, self.data_factory_name,
                                                                  run_id=pipeline_run_id,
                                                                  start_time=start_time,
                                                                  end_time=end_time,
                                                                  activity_name=activity_name)
    for act in act_runs:
        act_run_id = act.activity_run_id
        act_status = act.status
        act_error = act.error
        act_run_end = act.activity_run_end
        act_run_end_est = act_run_end.astimezone(pytz.timezone('America/New_York'))
        result = {'last_run_time': act_run_end_est,
                  'status': act_status,
                  'error': act.error,
                  'duration_in_ms': act.duration_in_ms,
                  'input': act.input,
                  'output': act.output
                  }
    return result

然后，我得到结果并插入到SQL表/视图中，并在PowerBI，DOMO，SSRS，Excel等中进行可视化。

Answer 2

在数据工厂 v1 中，应查看此博客文章。它介绍了如何使用 REST API 获取数据工厂运行数据并将其导入 PowerBI。它甚至还有一个 PowerBI 模板文件来帮助你入门。另一种方法是使用PowerShell，如此处所述

对于 v2，目前我正在查看内置日志记录。您可以使用PowerShell对其进行配置。我正在将日志写入存储帐户并使用 PowerBI 将其导入，但也可以使用 OMS 等方式对其进行监视。