如何创建从ODATA到Azure DocumentDB的数据定期副本

Question

我每天都试图将所有从ODATA查询返回到DocumentDB集合的数据定期副本。

使用复制向导可以正常工作，这是简单任务的绝佳选择。谢谢你。

但是，什么对我不起作用：副本每次都会添加数据，而我无法使用documentdb sink看到集合中的数据(与sql sink相比具有sqlwritercleanupscript，我可以将其设置为诸如'table''之类的东西(。

我知道我可以创建一个Azure批处理并做我需要的事情，但是在这一点上，我不确定执行功能并放弃Azure Data Factory(ADF(是否更好。我正在使用ADF来复制本地SQL的内容，因为它具有作者清理脚本。

此时，我想只使用DocumentDB，但我看不到可以使用数据的方法来执行此操作。

这是我的管道：

{
    "name": "R-------ProjectToDocDB",
    "properties": {
        "activities": [
            {
                "type": "Copy",
                "typeProperties": {
                    "source": {
                        "type": "RelationalSource",
                        "query": " "
                    },
                    "sink": {
                        "type": "DocumentDbCollectionSink",
                        "nestingSeparator": ".",
                        "writeBatchSize": 0,
                        "writeBatchTimeout": "00:00:00"
/// this is where a cleanup script would be great.
                    },
                    "translator": {
                        "type": "TabularTranslator",
                        "columnMappings": "ProjectId:ProjectId,.....:CostClassification"
                    }
                },
                "inputs": [
                    {
                        "name": "InputDataset-shc"
                    }
                ],
                "outputs": [
                    {
                        "name": "OutputDataset-shc"
                    }
                ],
                "policy": {
                    "timeout": "1.00:00:00",
                    "concurrency": 1,
                    "executionPriorityOrder": "NewestFirst",
                    "style": "StartOfInterval",
                    "retry": 3,
                    "longRetry": 0,
                    "longRetryInterval": "00:00:00"
                },
                "scheduler": {
                    "frequency": "Day",
                    "interval": 1
                },
                "name": "Activity-0-_Custom query_->---Project"
            }
        ],
        "start": "2017-04-26T20:13:27.683Z",
        "end": "2099-12-31T05:00:00Z",
        "isPaused": false,
        "hubName": "r-----datafactory01_hub",
        "pipelineMode": "Scheduled"
    }
}

也许管道中有一个更新，它在SQL输出和DocumentDB

Answer 1

Azure数据工厂今天不支持DOCDB的清理脚本。这是我们积压的东西。如果您可以为E2E方案描述更多内容，可以帮助我们优先。例如，为什么附加同一集合不起作用？这是因为每次运行后无法识别增量记录吗？对于清理要求，将始终被删除 *，否则可能是基于时间戳等。谢谢。在支持清理脚本之前，自定义活动是现在唯一的解决方法，对不起。

Answer 2

您可以使用在计时器触发器上运行的逻辑应用程序。