ADF v2监视器选项卡活动日志数据-写入表



我有几个有点活动繁重和缓慢的管道,我想加快。

所以我的问题是,在ADFv2的Monitor选项卡下可以看到的活动日志是否写入要查询/审查的表或其他位置?

如果不是默认值,可以设置吗?如果可以,在哪里设置?如何设置?

有3种存储活动日志的方法,如下-

  1. 创建存储过程活动-使用ADF存储过程活动更新静态管道参数表中的管道状态和日期时间列

  2. 在Azure Data Lake Store2中创建CSV日志文件—每创建一个parquet文件生成一个元数据CSV文件,并将日志存储在ADLS2的分层文件夹中

  3. 在Azure SQL数据库中创建日志表-在Azure SQL数据库中创建一个管道日志表,并将管道活动作为记录存储在表

要获得代码和一步一步的过程,请阅读Ron L'Esteve的文章

最新更新