计算管道完成操作的总时间?不适用于单个切片

Question

Environment & Details

• Azure 数据工厂
• 内部部署 - IaaS 服务器
• Azure Data Lake

场景

• 我已开发 ADF 管道并部署到 Azure 数据工厂。作为管道的一部分 - 我有近 50 个复制活动，这些活动从本地服务器复制数据并以 CSV 格式将数据写入 Azure 数据湖。

• 我有一个管道，所有 50 个复制活动都存在

• 所有活动从UTC时间上午12：00开始

问题

• 如何计算管道完成操作的总时间？不适用于单个切片。

Answer 1

可以使用 PowerShell 返回此信息。例如：

$SubId = Get-AzureSubscription `
    -SubscriptionName $AzureSubscription | SELECT SubscriptionId 
Set-AzureRmContext -SubscriptionId $SubId.SubscriptionId | Out-Null
#Get ADF details
$ADFName = Get-AzureRmDataFactory `
-ResourceGroupName $ResourceGroup | SELECT DataFactoryName
Get-AzureRmDataFactoryActivityWindow `
    -DataFactoryName $ADFName.DataFactoryName `
    -ResourceGroupName $ResourceGroup 

这将返回一个持续时间字段。

然后你可以对结果求和或其他东西。我将它们写入SQL数据库以监视我们的工厂。

有关该 cmdlet 的详细信息，请参阅：https://learn.microsoft.com/en-us/powershell/module/azurerm.datafactories/get-azurermdatafactoryactivitywindow?view=azurermps-3.7.0

希望这有帮助