使用NHibernate流式处理大型结果集是否有效?

Question

我使用的是ayende在这里提出的方法:

http://ayende.com/Blog/archive/2010/06/27/nhibernate-streaming-large-result-sets.aspx

SQL Server 2005 with NHibernate 3.0.

我的测试(尝试流式处理包含10,000,000项的结果集)表明结果没有被流式处理(似乎整个结果集首先被加载到内存中)。

我怎样才能使它工作?我将接受任何在NHibernate中允许结果集流的解决方案，它不一定是完全ayende的解决方案。

Answer 1

您可以使用以下NH 4.0.0.4000扩展方法从Linq流结果(如果您不喜欢反射hack，请通过ISessionImplementor):

public static EnumerableImpl Stream<T>(this IQueryable<T> source)
{
    var provider = ((NhQueryable<T>) source).Provider as DefaultQueryProvider;
    var sessionImpl = (ISessionImplementor)provider.GetType()
        .GetProperty("Session", BindingFlags.NonPublic | 
            BindingFlags.Instance).GetValue(provider);
    var expression = new NhLinqExpression(source.Expression, sessionImpl.Factory);
    var query = sessionImpl.CreateQuery(expression);
    query.SetParameters(expression.ParameterValuesByName);
    provider.SetResultTransformerAndAdditionalCriteria(
        query, expression, expression.ParameterValuesByName);
    return (EnumerableImpl)((AbstractQueryImpl2)query).Enumerable();
}
private static void SetParameters(this IQuery query, 
    IDictionary<string, Tuple<object, IType>> parameters)
{
    foreach (var parameterName in query.NamedParameters)
    {
        var param = parameters[parameterName];
        if (param.Item1 == null)
        {
            if (typeof(IEnumerable).IsAssignableFrom(param.Item2.ReturnedClass) &&
                param.Item2.ReturnedClass != typeof(string))
                query.SetParameterList(parameterName, null, param.Item2);
            else query.SetParameter(parameterName, null, param.Item2);
        }
        else
        {
            if (param.Item1 is IEnumerable && !(param.Item1 is string))
                query.SetParameterList(parameterName, (IEnumerable)param.Item1);
            else if (param.Item2 != null)
                query.SetParameter(parameterName, param.Item1, param.Item2);
            else query.SetParameter(parameterName, param.Item1);
        }
    }
}

你需要在using语句中包装它，以确保reader是关闭的:

using (var results = session.Query<Fark>().Take(50).Where(x => x.Enabled).Stream())
{
    results.ForEach(x => writer.WriteLine(x.ToCsv()));
}

Answer 2

Ayende说:

但是，我们仍然有内存消耗的问题。会话会跟踪所有加载的对象，如果我们加载了很多

这很可能是原因。您是否确保会话不跟踪对象?试着不选择实体，而是选择其中的一些成员来测试。