我正在寻找将文件上传到Azure SQL数据库的最佳方法。我们必须使用Azure数据工厂,因为目前我们不允许使用SSIS使用Azure VM。每天我们上传1,5GB的XML文件。目前,我们正在将其上传到斑点存储空间,并且通过复制活动,我们将其上传到DB中。但这需要长达2.5个小时。这样做的更好/更快的概念是什么?
有什么建议?
您可以使用BCP实用程序将数据导入到本文档中所述的SQL Server实例中。从那里,您可以使用Azure数据同步工具将Azure SQL数据库与SQL Server数据库同步。这可能会提供更快的执行时间。
最后降至35分钟。仅使用几个存储帐户(5)并将数据分配在5个帐户上。5 ADF管道将所有内容都延伸到同一阶段表中。一些大型文件,但我们有超过100.000个小文件从2到100k。这对我们来说很好。
我们注意到DTU从未达到其极限,因此我们认为DB不是问题,通过将DTU分为2,我们看到DTU增加了一点。我们继续走那条路....