有没有办法在Azure数据工厂中插入带有嵌套数组的文档

Question

我正在尝试在具有嵌套数组的CosmosDb中添加文档。我正在使用Copy Activity。

样本文件：

{
"itemNumber": "D10001",      
"readings" : [
{ "value": 25, "ets":"100011111"},
{ "value": 35, "ets":"100011122"}
]
}

在源数据集中，我在SQL查询中将读数数组格式化为string，并将汇点数据集中的数据类型设置为Object。数据被复制，但读数被字符串化。

是否有配置复制活动以处理此阵列的方法？

Answer 1

您的来源是什么？您可以先将数据复制到json文件中。然后按原样将其导入cosmos DB，这意味着不要在源和汇数据集中指定格式和结构。

Answer 2

据我所知，在adf-cosmos db配置中，没有这样的属性可以帮助您将字符串数据转换为数组格式。

由于您使用adf导入数据，因此无法使用PreTrigger更改创建文档的格式。PreTrigger需要由代码或rest api调用。

所以，作为解决方法，我建议您使用Azure Function Cosmos DB触发器来处理导入数据库的每个文档。请参阅我的功能代码：

using System.Collections.Generic;
using Microsoft.Azure.Documents;
using Microsoft.Azure.WebJobs;
using Microsoft.Azure.WebJobs.Host;
using Newtonsoft.Json.Linq;
using System;
using Microsoft.Azure.Documents.Client;
namespace TestADF
{
public static class Function1
{
[FunctionName("Function1")]
public static void Run([CosmosDBTrigger(
databaseName: "db",
collectionName: "item",
ConnectionStringSetting = "documentdbstring",
LeaseCollectionName = "leases")]IReadOnlyList<Document> input, TraceWriter log)
{
if (input != null && input.Count > 0)
{
log.Verbose("Start.........");
String endpointUrl = "https://***.documents.azure.com:443/";
String authorizationKey = "key";
String databaseId = "db";
String collectionId = "item";
DocumentClient client = new DocumentClient(new Uri(endpointUrl), authorizationKey);
for (int i = 0; i < input.Count; i++)
{
Document doc = input[i];
if ((doc.GetPropertyValue<Boolean>("alreadyForamt") == null) || (!doc.GetPropertyValue<Boolean>("alreadyForamt")))
{                       
String readings = doc.GetPropertyValue<String>("readings");
JArray r = JArray.Parse(readings);
doc.SetPropertyValue("readings", r);
client.ReplaceDocumentAsync(UriFactory.CreateDocumentUri(databaseId, collectionId, doc.Id), doc);
log.Verbose("Update document Id " + doc.Id);
}
}
}
}
}
}

希望它能帮助你。