我有几个有点活动繁重和缓慢的管道,我想加快。
所以我的问题是,在ADFv2的Monitor选项卡下可以看到的活动日志是否写入要查询/审查的表或其他位置?
如果不是默认值,可以设置吗?如果可以,在哪里设置?如何设置?
有3种存储活动日志的方法,如下-
-
创建存储过程活动-使用ADF存储过程活动更新静态管道参数表中的管道状态和日期时间列
-
在Azure Data Lake Store2中创建CSV日志文件—每创建一个parquet文件生成一个元数据CSV文件,并将日志存储在ADLS2的分层文件夹中
-
在Azure SQL数据库中创建日志表-在Azure SQL数据库中创建一个管道日志表,并将管道活动作为记录存储在表
中
要获得代码和一步一步的过程,请阅读Ron L'Esteve的文章