如何在OpenCV相机中禁用缓冲区

Question

我遇到这种情况，我使用 OpenCV 检测相机前的人脸，并在这些人脸上做一些 ML。我遇到的问题是，一旦我完成了所有的处理，然后去抓住下一帧，我就会得到过去，而不是现在。意思是，我将读取缓冲区内的内容，而不是相机前的实际内容。由于我不在乎在处理时哪些面孔出现在镜头前，所以我关心现在在镜头前的是什么。

我确实尝试将缓冲区大小设置为 1 ，这确实有很大帮助，但我仍然会得到至少 3 次缓冲区读取。将 FPS 设置为 1，剂量也无助于 100% 消除这种情况。波纹管是我拥有的流量。

let cv = require('opencv4nodejs');
let camera = new cv.VideoCapture(camera_port);
camera.set(cv.CAP_PROP_BUFFERSIZE, 1);
camera.set(cv.CAP_PROP_FPS, 2);
camera.set(cv.CAP_PROP_POS_FRAMES , 1);
function loop()
{
    //
    //  <>> Grab one frame from the Camera buffer.
    //
    let rgb_mat = camera.read();
    //  Do to gray scale
    //  Do face detection
    //  Crop the image
    //  Do some ML stuff
    //  Do whats needs to be done after the results are in.
    //
    //  <>> Release data from memory
    //
    rgb_mat.release();
    //
    //  <>> Restart the loop
    //
    loop();
}

我的问题是：

是否可以一起移除缓冲液？如果是这样，如何。如果没有，why将不胜感激。

Answer 1

是否支持CAP_PROP_BUFFERSIZE似乎特定于操作系统和后端。 例如，2.4 文档声明它"目前仅受 DC1394 [Firewire] v 2.x 后端支持"，而对于后端 V4L，根据代码，仅在 2018 年 3 月 9 日添加了支持。

禁用缓冲区的最简单非脆弱方法是使用单独的线程;有关详细信息，请参阅我在 Piotr Kurowski 的答案下的评论。 在这里，使用单独线程实现无缓冲VideoCapture的Python代码：（我没有opencv4nodejs环境。

import cv2, Queue, threading, time
# bufferless VideoCapture
class VideoCapture:
  def __init__(self, name):
    self.cap = cv2.VideoCapture(name)
    self.q = Queue.Queue()
    t = threading.Thread(target=self._reader)
    t.daemon = True
    t.start()
  # read frames as soon as they are available, keeping only most recent one
  def _reader(self):
    while True:
      ret, frame = self.cap.read()
      if not ret:
        break
      if not self.q.empty():
        try:
          self.q.get_nowait()   # discard previous (unprocessed) frame
        except Queue.Empty:
          pass
      self.q.put(frame)
  def read(self):
    return self.q.get()
cap = VideoCapture(0)
while True:
  frame = cap.read()
  time.sleep(.5)   # simulate long processing
  cv2.imshow("frame", frame)
  if chr(cv2.waitKey(1)&255) == 'q':
    break

帧读取器线程封装在自定义VideoCapture类中，与主线程的通信是通过队列进行的。

这个答案建议在阅读器线程中使用cap.grab()，但文档不保证grab()清除缓冲区，因此这可能在某些情况下有效，但在其他情况下则无效。

Answer 2

我在读取每一帧后将上限值设置为 None，我的问题以这种方式解决：

import cv2
from PyQt5.QtCore import QThread
if __name__ == '__main__':
while True:
    cap = cv2.VideoCapture(0)
    ret, frame = cap.read()
    cv2.imshow('A', frame)
    cv2.waitKey(0)
    print('sleep!')
    QThread.sleep(5)
    print('wake up!')
    cap = None

Answer 3

我有同样的问题，但在C++。我在OpenCV中没有找到合适的解决方案，但我找到了解决方法。此缓冲区累积恒定数量的图像，例如 n 帧。因此，您可以在没有分析的情况下读取n帧并再次读取帧。最后一帧将是来自相机的实时图像。像这样：

buffer_size = n;
for n+1
{
  // read frames to mat variable
}
// Do something on Mat with live image