嗨，我想在基于光流的视频序列中分割对象(如本答案所示)，我使用opencv，并且已经能够使用calcOpticalFlowFarneback函数为两个连续的帧生成流场。有人能解释一下我该如何根据这个流场分割图像吗?
因为你想使用光流来分割对象，所以你的决策将基于你的对象的运动类型…你可以在youtube上看看这个视频。您可以测量每个感兴趣的像素在两个连续帧中经历的位移方向和大小，以了解它们的运动模式。在视频的链接中，汽车是根据光流从背景中分割出来的…
一种非常直接的方法是为算法提供一个具有基本事实的关键帧。它的意思是，手动分割第一帧(您可以在这里使用grabcut)，然后使用光流将分割传播到后续帧。
需要注意的是，光流是出了名的容易出错。因此，不是直接使用传播分割，您可以侵蚀(使用一些结构元素)您的传播分割，并使用侵蚀图像作为grabcut的前景种子。同样地，扩展扩展的分割，并使用扩展边界周围的带作为背景种子。
简而言之:对于第一帧给出ground truth，使用它在后续帧中自动执行grabcut。
这有帮助吗?