将opencv图像cv::Mat格式转换为c# BitmapImage

Question

我编写了这个示例代码来解释我的问题。我在VS 2013中有一个解决方案，包含一个c#项目和一个c++项目。我尝试在c++ (x86)中使用OpenCV读取图像。并且想要传递到c# x86项目(使用CLR模式)到Bitmap对象，然后BitmapImage对象用作WPF ImageSource。
我的c++代码:

Bitmap^ SomeClass::Test(System::String^ imgFileName)
{
    auto fileName = msclr::interop::marshal_as<string>(imgFileName);
    Mat img = imread(fileName);
    //Do something
    auto bmp = gcnew Bitmap(img.cols, img.rows, img.step, Imaging::PixelFormat::Format24bppRgb, (IntPtr)img.data);
    bmp->Save("InC++Side.png");     
    return bmp;
}

My c# Code:

private void ImageTester(object sender, RoutedEventArgs e)
{
    var image = testClass.Test("test.png");
    image.Save("InC#Side.png");
    bg.Source = ConvertToBitmapImageFromBitmap(image);
}
public static BitmapImage ConvertToBitmapImageFromBitmap(Bitmap image)
{
    using(var ms = new MemoryStream())
    {
        image.Save(ms, System.Drawing.Imaging.ImageFormat.Png);
        BitmapImage bImg = new BitmapImage();
        bImg.BeginInit();
        bImg.StreamSource = new MemoryStream(ms.ToArray());
        bImg.EndInit();
        return bImg;
    }
}

问题是c++保存的文件(inc++ Side.png)是完美的;而另一个在c#中呈现的位图对象只是一个带有图像高度和宽度的灰色矩形。
问题在哪里?
我如何将图像传递给我的c#项目?

Answer 1

我知道这是一个相当老的问题，但是我刚刚遇到了一个类似的任务。我认为，与其让非托管资源处于活动状态并在托管代码中使用它，不如将数据复制到托管堆并让CLR处理它。以下是我的方法:

System::Windows::Media::ImageSource^ ManagedCppClass::GetLatestImage()
{
    cv::Mat frame;
    if (!videoSrc->read(frame))
        return nullptr;
    int totSize = frame.total() * frame.elemSize();
    auto managedArray = gcnew array<System::Byte>(totSize);
    System::Runtime::InteropServices::Marshal::Copy(System::IntPtr((void*)frame.data), 
                                                    managedArray, 0, totSize); //assume isContinuous is always true at this point (?)
    return System::Windows::Media::Imaging::BitmapImage::Create(
                frame.cols, frame.rows, 96, 96, System::Windows::Media::PixelFormats::Bgr24, //Rgb24,
                System::Windows::Media::Imaging::BitmapPalettes::WebPalette, managedArray, frame.step);
}

也许将来它会对偶然发现它的人有所帮助。

Answer 2

问题似乎出在共享内存上。
Mat和Bitmap共用C++中的内存。因此，当Mat对象被破坏时，Bitmap对象不能访问数据。这就是为什么它的数据在c++方面是正确的，但在c#方面没有任何内容。
为了解决这个问题，我使用了static Mat。它永远不会释放，但可以解决我的问题。