SQL Server:带有多个文件组的批量插入数据加载到分区表中

Question

我正在尝试加载一系列的CSV文件，范围从100MB到20GB（总计约3TB）。因此，我需要我可以提高的每一个绩效。我的目标是将文件组和分区用作均值。我进行了一系列测试以查看最佳方法。

首先，我尝试了各种文件组组合；我得到的最好的是，当我加载到1个文件组上的表中；分配了多个文件，并且它们都位于一个光盘上。这种组合的表现优于我有多个文件组的情况。

下一步自然可以分区。奇怪的是，我检查的所有分区组合的性能都较低。我尝试定义各种分区功能/方案和各种文件组组合。但所有这些都显示出较低的加载速度。

我想知道我在这里缺少什么！？

到目前为止，我设法在3分钟内加载了1GB CSV文件（使用批量插入）。任何想法都非常感谢。

Answer 1

用于获得最佳数据加载速度您首先了解SQL Server数据加载过程，这意味着了解SQL Server如何在下面提到的优化。

1. 最少的记录。
2. 并行加载。
3. 锁定优化。

这两篇文章将详细说明如何详细实现上述所有优化。使用批量负载和最小的日志记录和批量加载数据加载到堆与群集表

的最快数据加载

希望这会有所帮助。