使用Azure Data Factory V2将Excel工作簿的多个工作表并行大容量加载到SQL DB中



是否有方法使用ADF V2将工作表批量加载到SQL表中?

我能够通过使用2链接服务(Blob和SQL DB(制作10个数据集(Excel和SQL表(来加载5张数据。即使所有的数据活动都是并行执行的,性能也不好。

如果添加更多要加载的图纸,则性能会显著下降。我认为这是因为同一个excel工作簿被消耗掉了,考虑到它的大小(50MB(,打开和阅读需要时间,并成为瓶颈。

SSIS只能使用Foreach循环按顺序执行(取决于目标表的动态设置方式(

必须有更好的方法来加载数据,而不是创建N*2个数据集(工作表源和响应SQL表(。

-感谢

由于@Mark发布了-"您可以单击";编辑";在数据集中";片材";属性并参数化该属性。然后你可以使用管道";foreach";循环通过纸张名称";

您可以通过以下两个步骤完成:

  • 首先将excel电子表格导出为csv文件,您可以将这些文件合并为一个文件
  • 然后使用大容量插入将数据加载到数据库中

请参阅:https://learn.microsoft.com/en-us/sql/t-sql/statements/bulk-insert-transact-sql?view=sql-服务器-ver15

最新更新