SharePoint 2010 中的大数据

Question

我有大量CSV格式的数据（7 Mio.行），我必须每月自动导入一次SharePoint项目。数据总量不是那么大（100 kB）。该数据中的查询通常只检索一行或几行）

因为SharePoint并不真正"喜欢"大列表（阈值等）我想知道哪个是解决这个瓶颈的最佳方法。

1. 只需将数据放入列表中即可（不希望这样，因为即使在导入之前删除也肯定需要几个小时）

2. 将数据保存到sql数据库中，并编写一个"包装器"以直接连接到SQL

这些是我对解决这个问题的可能性的第一个想法。还有其他（更好的）方法吗？

Answer 1

我会使用 SSIS 来做到这一点。

下载适用于 SSIS 的 SharePoint 列表适配器（只需在谷歌上搜索这些适配器）。

使用平面文件连接从csv文件中获取数据，您可以将sharepoint列表中已有的数据与csv文件中的数据进行比较，并仅添加新行 - 我认为您使用合并/联接来执行此操作。

我以前做过这个，如果您需要更多详细信息，请告诉我，这只是我的头顶。