我是数据湖分析和使用USQL的新手。
我目前正在设置数据工厂管道,该管道将替换现有的SSIS工作流程。数据工厂管道本质上是
- 将数据交易数据库提取到ADLS
- 使用USQL转换原始实体
- 使用自定义活动加载数据到SSA
问题
我有一个USQL项目设置并想要,如果有一种标准方式将它们部署到ADLA之外,只是将脚本上传到商店中的文件夹。
很棒的问题!
我不确定一种标准方式,甚至不确定一种可能被认为是最佳实践的方式。但是我使用您提到的所有工具来执行非常相似的任务。
尝试回答您的问题:我要做的是在逻辑ADLA数据库中创建U-SQL脚本作为存储过程。在VS USQL项目中,我每个存储的Proc有1个脚本。然后,ADF活动调用Proc名称。这为您提供了服务之间正确的断开连接,也意味着您不需要USQL文件的其他BLOB存储。
在我的VS解决方案中,我经常也有一个PowerShell项目来帮助管理事物。特别是,一个将我所有的" USP_" U-SQL脚本用于创建可以部署到逻辑ADLA数据库的大型DDL样式的东西。
然后,PowerShell使用提交作业CMDLET为我进行部署。下面的示例。
Submit-AzureRmDataLakeAnalyticsJob `
-Name $JobName `
-AccountName $DLAnalytics `
–Script $USQLProcDeployAll `
-DegreeOfParallelism $DLAnalyticsDoP
希望这能给您带来转向。我还接受这些工具仍然相当新。因此向其他建议开放。
欢呼