部署USQL项目



我是数据湖分析和使用USQL的新手。

我目前正在设置数据工厂管道,该管道将替换现有的SSIS工作流程。数据工厂管道本质上是

  1. 将数据交易数据库提取到ADLS
  2. 使用USQL转换原始实体
  3. 使用自定义活动加载数据到SSA

问题

我有一个USQL项目设置并想要,如果有一种标准方式将它们部署到ADLA之外,只是将脚本上传到商店中的文件夹。

很棒的问题!

我不确定一种标准方式,甚至不确定一种可能被认为是最佳实践的方式。但是我使用您提到的所有工具来执行非常相似的任务。

尝试回答您的问题:我要做的是在逻辑ADLA数据库中创建U-SQL脚本作为存储过程。在VS USQL项目中,我每个存储的Proc有1个脚本。然后,ADF活动调用Proc名称。这为您提供了服务之间正确的断开连接,也意味着您不需要USQL文件的其他BLOB存储。

在我的VS解决方案中,我经常也有一个PowerShell项目来帮助管理事物。特别是,一个将我所有的" USP_" U-SQL脚本用于创建可以部署到逻辑ADLA数据库的大型DDL样式的东西。

然后,PowerShell使用提交作业CMDLET为我进行部署。下面的示例。

Submit-AzureRmDataLakeAnalyticsJob `
        -Name $JobName `
        -AccountName $DLAnalytics `
        –Script $USQLProcDeployAll `
        -DegreeOfParallelism $DLAnalyticsDoP

希望这能给您带来转向。我还接受这些工具仍然相当新。因此向其他建议开放。

欢呼

相关内容

  • 没有找到相关文章