强制释放巨大的内存阵列

Question

在 C# 核心中，

我有一个需要在代码中使用的 hugh 二进制数据数组，并且我需要在使用完后释放其分配的内存。

代码在 docker for Linux 中运行（使用基本映像：microsoft/dotnet：2.1-sdk + microsoft/dotnet：2.1-runtime） - 我看到堆使用率总是变得更大（通过 htop）。

byte[] arr = new byte[1024*1024*1024];
Console.WriteLine("array in gen:{0}", GC.GetGeneration(arr));

数组在第 2 代。

当我这样做时：

Console.WriteLine("total mem before:{0}", GC.GetTotalMemory(false)); 
GC.Collect();
Console.WriteLine("total mem after:{0}", GC.GetTotalMemory(false)); 

数组分配的内存没有释放，收集似乎没有立即工作？

我也尝试将 arr 放入 IDisposable 中，但它能提供帮助吗？

public class DisposeArr : IDisposable
{
    // Flag: Has Dispose already been called?
    bool disposed = false;
    // Instantiate a SafeHandle instance.
    SafeHandle handle = new SafeFileHandle(IntPtr.Zero, true);
    byte[] Data { get; set; }
    public DisposeArr(long size)
    {
        Data = new byte[size];
    }
    public void Dispose()
    {
        Dispose(true);
        GC.SuppressFinalize(this);
    }
    // Protected implementation of Dispose pattern.
    protected virtual void Dispose(bool disposing)
    {
        if (disposed)
            return;
        if (disposing)
        {
            Data = null;
            handle.Dispose();
            // Free any other managed objects here.
            //
        }
        disposed = true;
    }
    ~DisposeArr()
    {
      Dispose(false);
    }
}

在主代码中：

using (DisposeArr newArr = new DisposeArr(1024 * 1024 * 1024))
{
}
GC.Collect();
GC.WaitForPendingFinalizers();
Console.WriteLine("total mem before:{0}", GC.GetTotalMemory(false)); 
GC.Collect();
Console.WriteLine("total mem after:{0}", GC.GetTotalMemory(false));

我怎样才能强制数组分配的内存将在'GC.收集'？

这是完整的代码。代码可能有效，但如果有 100% 和 95%（几乎是内存），则可能存在一些内存泄漏（并且在 docker 上 - 在 linux 中 - 可能会遇到内存泄漏）。

    using Microsoft.Win32.SafeHandles;
using System;
using System.Runtime.InteropServices;
namespace TestHeap
{
    public class DisposeArr : IDisposable
    {
        // Flag: Has Dispose already been called?
        bool disposed = false;
        // Instantiate a SafeHandle instance.
        SafeHandle handle = new SafeFileHandle(IntPtr.Zero, true);
        byte[] Data { get; set; }
        public DisposeArr(long size)
        {
            Data = new byte[size];
        }
        public void Dispose()
        {
            Dispose(true);
            GC.SuppressFinalize(this);
        }
        // Protected implementation of Dispose pattern.
        protected virtual void Dispose(bool disposing)
        {
            if (disposed)
                return;
            if (disposing)
            {
                Data = null;
                handle.Dispose();
                // Free any other managed objects here.
                //
            }
            disposed = true;
        }
        ~DisposeArr()
        {
          Dispose(false);
        }
    }
    class Program
    {
        public void Run()
        {
            for (int i = 0; i < 100; i++)
            {
                Console.WriteLine("total mem:{0}", GC.GetTotalMemory(false)); GC.Collect();
                using (DisposeArr newArr = new DisposeArr(1024 * 1024 * 1024))
                {
                }
                //            byte[] arr = new byte[1024 * 1024 * 1024];
                Console.WriteLine("New. total mem:{0}", GC.GetTotalMemory(false));
                GC.Collect();
                Console.WriteLine("Collect. total mem:{0}", GC.GetTotalMemory(false));
                GC.WaitForPendingFinalizers();
                Console.WriteLine("Pending. total mem:{0}", GC.GetTotalMemory(false)); GC.Collect();
                GC.Collect();
                Console.WriteLine("Collect. total mem:{0}", GC.GetTotalMemory(false));
            }
            Console.ReadLine();
        }
        static void Main(string[] args)
        {
            Program p = new Program();
            p.Run();
        }
    }
}

谢谢。

Answer 1

答案的代码有效，但如果数组只有一个引用，则无效：

即，如果我写：

byte[] b;
using (DisposeArr newArr = new DisposeArr(1024 * 1024 * 1024))
{
   b = newArr.Data;
}
b = null;
GC.Collect();

上面的代码并没有真正释放元素，因为存在对它的引用。

所有内容都必须直接引用 newArr.data，因此代码中根本没有 byte[]。

如果我们需要引用该对象，我发现的唯一一件事就是转换为其他类，使用不安全的创建。

public static class UnsafeConverter
{
    // to do: convert only arrays of the same size short[] <-> ushort[]
    private static unsafe T GetInstanceByPointer<T>(IntPtr pointer)
    {
        try
        {
            var fakeInstance = default(T);
            var sizeInstance = default(int);
            TypedReference typerefSize = __makeref(sizeInstance);

            TypedReference typedReference = __makeref(fakeInstance);
            *(IntPtr*)(&typedReference) = pointer;
            T instance = __refvalue(typedReference, T);
            return instance;
        }
        catch
        {
            return default;
        }
    }
    public static unsafe T GetInstance<T>(object value)
    {
        try
        {
            GCHandle handle = GCHandle.Alloc(value);
            IntPtr px = (IntPtr)handle;
            T instance = GetInstanceByPointer<T>(px);
            handle.Free();
            return instance;
        }
        catch
        {
            return default;
        }            
    }
} 

在 DisposeArr 类中：

public DisposeArr(byte[] arr)
{
    Data = UnsafeConverter.GetInstance<byte[]>(arr);
}

如果我调用 Dispose 显式，我需要在代码中将数组保留在某个集合中，并添加一个函数来检查该集合（只要没有任何 dispose）。

即：

private static ConcurrentDictionary<int, DisposeArr> _allData = new ConcurrentDictionary<int, DisposeArr>()

类声明：

公共类 DisposeArr ： IDisposable { ...

    public DisposeArr(long size)
    {
        Data = new byte[size];
        _allData.TryAdd(GetHashCode(), this);
    }
    public static CollectAll()
    {
       for (var item in _allData)
       {
          _allData.Value.Dispose();
       }
    }
    protected virtual void Dispose(bool disposing)
    {
        if (disposed)
            return;
        if (disposing)
        {
           ...
           _allData.TryRemove(GetHashCode(), out DisposeArr tmpDisposeArr);
        }
    }
}