基本上,我正在尝试测试这个按需集群如何启动并与Hive活动一起工作。因此,只有一项活动正在筹备中。
但是,当我尝试使用按需HDInsight集群为配置单元活动调试Azure数据工厂时,它显示了以下消息。{"代码":"BadRequest","消息":null,"目标":"管道//runid/cXXX-XXXX-XXXX-1111","详细信息":null、"错误":null}
当我检查管道运行的调试部分时,它说"对目标管道的操作失败:无效的链接服务引用。名称:storage_linkedservice">
按需HDInsight集群的链接服务配置为Json格式的动态内容,而不是通过UI。此Json的参考资料来自Microsoft文档链接:https://learn.microsoft.com/en-us/azure/data-factory/compute-linked-services#azure-hdinsight的需求链接服务
本文档介绍了如何在标题additionalLinkedServiceNames JSON示例下附加其他存储帐户。
我使用了相同的JSON格式来指定数据工厂抛出错误的额外存储帐户。JSON格式如下。
"additionalLinkedServiceNames":[{"referenceName":">storage_linkedservice";,"类型":"LinkedServiceReference";}]
有人知道为什么尽管微软的文档中提到了格式,但管道还是失败了吗?
非常感谢您的回复。
谢谢。
--更新
参考:错误消息-";代码":"BadRequest"消息":"空";
原因
这是一个用户错误,因为访问management.azure.com的JSON负载已损坏。不会存储任何日志,因为用户调用未到达ADF服务层。
分辨率
使用Edge/Chrome浏览器开发工具从ADF门户对您的API调用执行网络跟踪。您将看到有问题的JSON负载,这可能是由于特殊字符(例如$(、空格和其他类型的用户输入造成的。修复字符串表达式后,将在浏览器中继续执行ADF的其余用法调用。
--
目前,您无法为此属性指定Azure Data Lake Storage(Gen 2(链接服务。如果HDInsight集群可以访问Data Lake存储,您可以从配置单元/Pig脚本访问Azure Data Lake Storage(Gen 2(中的数据。
请验证您的命名链接服务是否是在您的Azure订阅下创建的,并且当群集启动并运行时,您能够在Azure门户中看到该群集。根据需要配置Azure HDInsight群集通常需要20分钟或更长时间。等待,然后运行调试。
少数指针:
- 验证链接服务中的凭据是否有效,并且访问权限
- 既然你提到你在调试时看到了这个错误,你能试一下吗并在使用触发器时确认是否相同
- 存储帐户必须是通用标准Azure存储账户必须与HDInsight集群位于同一区域在与由指定的存储帐户相同的区域中创建linkedServiceName
- 在HDInsight计算环境中,随需应变additionalLinkedServiceNames仅支持Blob、ADLS Gen 1、,不支持ADLS Gen2和Azure SQL DB