DataTable 需要很长时间才能从 SqlDataReader 加载数据

Question

我使用以下代码从MS SQL Server表加载数据：

using (SqlDataReader rdr = cmd.ExecuteReader())
{
if (rdr.HasRows)
{
dt.Load(rdr); //takes forever to load
}
if (dt.Rows.Count > 0 && !dt.HasErrors)
{
Parallel.For (0, dt.Rows.Count, i => 
{ 
byte[] docBytes = (byte[])(dt.Rows[i]["DocObject"]);    File.WriteAllBytes(Path.Combine(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Documents\"), $"{dt.Rows[i]["FileName"].ToString().ToLower()}"), docBytes); 
});
}
}
}

SQL 查询在不到一秒的时间内执行。数据包含一个保存二进制文档数据的 SQL 图像列。我使用System.Diagnostics的秒表来计时执行，发现这个单一的dt。加载 (rdr( 语句大约需要 5 分钟才能加载大约 5,000 条记录。我的应用程序需要加载数百万行，按照这个速度，应用程序将无法使用。这是一个使用标准 Windows 窗体构建的 Windows 窗体应用程序。任何想法为什么dt。负载(rdr(需要永远？任何关于重写此代码或提高其性能的想法将不胜感激。

Answer 1

尝试这样的事情，而不是将所有行加载到客户端的内存中：

using (SqlDataReader rdr = cmd.ExecuteReader(CommandBehavior.SequentialAccess))
{ 
while (rdr.Read())
{
string fn = rdr.GetString(0);
using (var rs = rdr.GetStream(1))
{
var fileName = $"c:\temp\{fn}.txt";
using (var fs = File.OpenWrite(fileName))
{
rs.CopyTo(fs);
}
Console.WriteLine(fileName);
}
}                
}

Answer 2

下面的代码未经测试。这只是一个想法。

另一种方法是定义实体类并使用SqldataReader填充列表。并且根本不要使用DataTable。

此外，还应尽快关闭数据库连接。因此，在获取时不要做其他工作。

希望你在连接字符串中使用connection pool

public class Example
{
public byte DocObject {get;set;}
public string FileName {get;set;}
}
List<Example> objList=new List<Example>();
using (SqlDataReader rdr = cmd.ExecuteReader())
{
while (rdr.Read())
{
Example obj=new Example();
obj.DocObject=(byte[])rdr["DocObject"] //suitable cast
obj.FileName =rdr["FileName "].toSting() //suitable cast
objList.Add(obj);
}
}
}
if (objList.Count > 0)
{
Parallel.For (0, objList.Count, i => 
{ 
byte[] docBytes = (byte[])(objList[i]["DocObject"]);    File.WriteAllBytes(Path.Combine(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Documents\"), $"{objList[i]["FileName"].ToString().ToLower()}"), docBytes); 
});
}
}