在 WPF 中呈现非托管视频帧的最高性能方法是什么

Question

我正在使用FFmpeg库以最小的延迟通过UDP接收和解码H.264/MPEG-TS（这是MediaElement无法处理的）。

在专用的 FFmpeg 线程上，我正在拉取 PixelFormat.Bgr32 视频帧进行显示。我已经尝试过InteropBitmap：

_section = CreateFileMapping(INVALID_HANDLE_VALUE, IntPtr.Zero, PAGE_READWRITE, 0, size, null);
_buffer = MapViewOfFile(_section, FILE_MAP_ALL_ACCESS, 0, 0, size);
Dispatcher.Invoke((Action)delegate()
{
    _interopBitmap = (InteropBitmap)Imaging.CreateBitmapSourceFromMemorySection(_section, width, height, PixelFormats.Bgr32, (int)size / height, 0);
    this.Source = _interopBitmap;
});

然后每帧更新：

Dispatcher.Invoke((Action)delegate()
{
    _interopBitmap.Invalidate();
});

但是性能非常糟糕（跳帧，高CPU使用率等）。

我也尝试过WriteableBitmap：FFmpeg将帧放置在_writeableBitmap.BackBuffer中，并按帧更新：

Dispatcher.Invoke((Action)delegate()
{
    _writeableBitmap.Lock();
});
try
{
    ret = FFmpegInvoke.sws_scale(...);
}
finally
{
    Dispatcher.Invoke((Action)delegate()
    {
        _writeableBitmap.AddDirtyRect(_rect);
        _writeableBitmap.Unlock();
    });
}

遇到几乎相同的性能问题（使用各种调度程序优先级进行测试）。

任何帮助将不胜感激。

Answer 1

我知道

为时已晚，但我为那些正在努力解决这个问题的人写了这个答案。最近，我使用InteropBitmap做了一个渲染项目，其中我能够在核心i7 1.6 Ghz CPU +8Gb RAM笔记本电脑上同时在WPF窗口中运行大约16个媒体播放器组件，速度为25fps。以下是我为性能调整而采取的技巧：

首先，我没有让GC处理我的视频包。我在需要实例化视频帧的任何位置使用 Marshal.AllocateHGlobal 分配内存，并在完成渲染后立即使用 Marshal.FreeHGlobal 处理。

其次，我为每个单独的媒体播放器创建了一个调度程序线程。更多信息，请阅读"https://blogs.msdn.microsoft.com/dwayneneed/2007/04/26/multithreaded-ui-hostvisual/"。

第三，对于纵横比，以及一般的调整大小的目的，我使用了原生的EmguCV库。这个库在性能上帮助了我很多，而不是使用位图和叠加层等。

我认为这些步骤可以帮助需要使用InteropBitmap等手动渲染的每个人。