我在 Azure 数据工厂中的输出数据集上收到错误。
"不支持 HDInsight 区域。区域代码:ln。
这有点奇怪,因为我没有使用 HDInsight,它是在 Azure 批处理和两个存储帐户上运行的 c# 中用于试验目的的自定义活动的管道。
数据工厂位于北欧,其余位于英国南部。
HDInsight 是否可能为数据移动提供支持?
阅读常见问题解答 计算和存储资源的位置可以位于不同的区域?
编辑:
下面是管道内部的活动 JSON:
"activities": [
{
"type": "DotNetActivity",
"typeProperties": {
"assemblyName": "AzureBatchDemoActivity.dll",
"entryPoint": "AzureBatchDemoActivity.DemoActivity",
"packageLinkedService": "AzureStorageLinkedService",
"packageFile": "/demoactivitycontainer/AzureBatchDemoActivity.zip",
"extendedProperties": {
"SliceStart": "$$Text.Format('{0:yyyyMMddHH-mm}', Time.AddMinutes(SliceStart, 0))"
}
},
"inputs": [
{
"name": "InputDataset"
}
],
"outputs": [
{
"name": "OutputDataset"
}
],
"policy": {
"timeout": "00:30:00",
"concurrency": 2,
"retry": 3
},
"scheduler": {
"frequency": "Hour",
"interval": 1
},
"name": "DemoActivity",
"linkedServiceName": "AzureBatchLinkedService"
}
],
Azure 支持人员保持联系,他们的回复非常迅速!
在不支持数据移动的区域中使用自定义活动以及存储帐户时,这似乎是不正确的错误消息。
我看到重新阅读文档,有一个微妙的:
为数据工厂中的数据移动提供支持的服务可用 全球多个地区。 -- (支持的区域)
我错误地将"全球"理解为无处不在的意思,但我应该将其视为全球特定地区的含义。
我假设即使我使用的是自定义活动,因为涉及源和目标存储帐户,但它也会隐式被视为"数据移动"操作。
我在运行HDInsightOnDemand时遇到了类似的问题(相同的错误消息)。存储帐户的区域没有问题。
问题是未在链接服务中指定群集详细信息。我猜ADF混淆了创建Linux或Windows,Hadoop或Spark的集群。无论如何,解决方案是在HDInsightLinkedService中添加以下属性
"properties": {
"type": "HDInsightOnDemand",
"typeProperties": {
"clusterType": "Hadoop",
"osType": "linux",
"version": "3.5",
...
我遇到了这个确切的问题,发现这是一个 Azure 错误。"du"是北欧地区数据中心的内部代码。
HDInsight or storage of Azure Batch region is not supported. Region code: du.
通过同一脚本部署到同一区域的两个资源组生成了一个工作数据工厂资源和一个损坏的数据工厂资源。一位 Azure 支持工程师告诉我,这是因为该地区的数据中心是新的,尚未列入白名单。
建议的解决方法是重新部署环境,并希望将存储帐户部署到该区域中列入白名单的其他数据中心。