将远程帧缓冲流式传输到 NSView

Question

我正在尝试使用 LibvnccClient 在 Swift 中实现一个简单的VNC client。

我创建了一个NSView子类。我创建了一个CGContext并将数据指针传递给库以用作framebuffer。libvncclient 随着屏幕内容的变化更新帧缓冲，并调用我提供的回调。

这是相关代码

class VNCClient {
    var localClient: rfbClient
    var view: NSView
    init(view: NSView) {
        guard let client_ptr = rfbGetClient(8, 3, 4) else {
            fatalError("Trouble")
        }
        self.view = view
        self.localClient = client_ptr.pointee
        localClient.MallocFrameBuffer = resize
        localClient.GotFrameBufferUpdate = update
        let fbPointer = UnsafeMutablePointer<UInt8>(OpaquePointer((view as! RFBView).buffer))
        localClient.frameBuffer = fbPointer
        rfbClientSetClientData(&localClient, &viewTag, &self.view)
        var argc: Int32 = 0
        let b = rfbInitClient(&localClient, &argc, nil)
        if b == RFB_TRUE {
            print("Connected!")
        }
        Timer.scheduledTimer(withTimeInterval: 0.001, repeats: true) {_ in
            if WaitForMessage(&self.localClient, 1) > 0 {
                HandleRFBServerMessage(&self.localClient)
            }
        }
    }
func update(client: UnsafeMutablePointer<rfbClient>?, x: Int32, y: Int32, w: Int32, h: Int32) -> Void {
    let cl = client!.pointee
    let view_ptr = rfbClientGetClientData(client, &viewTag)
    let view = view_ptr?.assumingMemoryBound(to: RFBView.self).pointee
    view?.setNeedsDisplay(NSRect(x: Int(x), y: Int(y), width: Int(w), height: Int(h)))
}

class RFBView: NSView {
    let ctx = CGContext(data: nil, width: 800, height: 600, bitsPerComponent: 8, bytesPerRow: 4 * 800, space: CGColorSpaceCreateDeviceRGB(), bitmapInfo: CGImageAlphaInfo.noneSkipLast.rawValue)!
    var buffer: UnsafeMutableRawPointer? {
        return ctx.data
    }
    override func draw(_ dirtyRect: NSRect) {
        let image = ctx.makeImage()
        NSGraphicsContext.current()?.cgContext.draw(image!, in: frame)
   }

它可以工作，但显示不流畅。服务器在 VM 中的同一台计算机上运行，因此没有网络问题。

我正在为每个更新重绘整个图像，我认为这是问题的原因。那么如何只重绘更新的帧缓冲部分呢？

CoreGraphics足够快还是我应该使用NSOpenGLView？

Answer 1

我假设如果有更新，HandleRFBServerMessage每次迭代都会调用update函数一次。但事实并非如此。

我用打印到控制台的存根替换了update，并注意到当屏幕上有很多活动时，它被调用了一千多次。

然而，随着setNeedsDisplay的呼叫update，它只被调用了几百次。由于它花费了太多时间渲染，因此错过了中间的几帧。

我将绘图代码移到Timer内，现在它运行良好。

localClient.GotFrameBufferUpdate = { _, _, _, _, _ in needs_update = true }
Timer.scheduledTimer(withTimeInterval: 0.016, repeats: true) {_ in
    if needs_update {
        view.display()
        needs_update = false
    }
    if WaitForMessage(&self.localClient, 1) > 0 {
        HandleRFBServerMessage(&self.localClient)
    }
}