无法将帧写入具有多处理 + cv2 的视频

Question

我有一个代码，可以将视频分解为帧，编辑图像并将其放回视频中，但我意识到它真的很慢。。。所以我研究了多处理来加速代码，它很有效！正如我所看到的，它处理图像的速度要快得多，但问题是，当我将这些帧添加到新视频中时，它不起作用，视频仍然是空的！

这是我的代码：

# Imports
import cv2, sys, time
import numpy as np
from scipy.ndimage import rotate
from PIL import Image, ImageDraw, ImageFont, ImageOps
import concurrent.futures
def function(fullimg):
img = np.array(Image.fromarray(fullimg).crop((1700, 930, 1920-60, 1080-80)))
inpaintRadius = 10
inpaintMethod = cv2.INPAINT_TELEA
textMask = cv2.imread('permanentmask.jpg', 0)
final_result = cv2.inpaint(img.copy(), textMask, inpaintRadius, inpaintMethod)
text = Image.fromarray(np.array([np.array(i) for i in final_result]).astype(np.uint8)).convert('RGBA')
im = np.array([[tuple(x) for x in i] for i in np.zeros((70, 160, 4))])
im[1:-1, 1:-1] = (170, 13, 5, 40)
im[0, :] = (0,0,0,128)
im[1:-1, [0, -1]] = (0,0,0,128)
im[-1, :] = (0,0,0,128)
im = Image.fromarray(im.astype(np.uint8))
draw = ImageDraw.Draw(im)
font = ImageFont.truetype('arialbd.ttf', 57)
draw.text((5, 5),"TEXT",(255,255, 255, 128),font=font)
text.paste(im, mask=im)
text = np.array(text)
fullimg = Image.fromarray(fullimg)
fullimg.paste(Image.fromarray(text), (1700, 930, 1920-60, 1080-80))
fullimg = cv2.cvtColor(np.array(fullimg), cv2.COLOR_BGR2RGB)
return fullimg
cap = cv2.VideoCapture('before2.mp4')
_fourcc = cv2.VideoWriter_fourcc(*'MPEG')
out = cv2.VideoWriter('after.mp4', _fourcc, 29.97, (1280,720))
frames = []
lst = []
while cap.isOpened():
ret, fullimg = cap.read()
if not ret:
break
frames.append(fullimg)

if len(frames) >= 8:
if __name__ == '__main__':
with concurrent.futures.ProcessPoolExecutor() as executor:
results = executor.map(function, frames)
for i in results:
print(type(i))
out.write(i)
frames.clear() 
cap.release()
out.release()
cv2.destroyAllWindows() # destroy all opened windows

我的代码修复了一个水印，并使用PIL添加了另一个水印。

如果我不使用multiprocessing，代码就可以工作。但如果我确实使用multiprocessing，它会给出一个空视频。

Answer 1

我对OpenCV不太熟悉，但您的代码中似乎有一些地方需要更正。首先，如果您在Windows下运行，因为您有if __name__ == '__main__':保护创建新进程的代码(顺便说一句，当您用multiprocessing标记问题时，您也应该用正在使用的平台标记问题(，那么全局范围内的任何代码都将由为实现池而创建的每个进程执行。这意味着您应该按如下方式移动if __name__ == '__main__':：

if __name__ == '__main__':
cap = cv2.VideoCapture('before2.mp4')
_fourcc = cv2.VideoWriter_fourcc(*'MPEG')
out = cv2.VideoWriter('after.mp4', _fourcc, 29.97, (1280,720))
frames = []
lst = []
while cap.isOpened():
ret, fullimg = cap.read()
if not ret:
break
frames.append(fullimg)

if len(frames) >= 8:
with concurrent.futures.ProcessPoolExecutor() as executor:
results = executor.map(function, frames)
for i in results:
print(type(i))
out.write(i)
frames.clear() 
cap.release()
out.release()
cv2.destroyAllWindows() # destroy all opened windows

如果不这样做，在我看来，池中的每个子进程都将首先尝试并行创建一个空视频(这些进程永远不会调用function工作函数和out.write(，只有这样，主进程才能使用map调用function工作函数。这并不能完全解释为什么在所有这些浪费的尝试之后，主要过程没有成功。但是

您还拥有：

while cap.isOpened():

文档指出，如果上一个VideoCapture构造函数成功，则isOpened()返回True。那么，如果它只返回True一次，为什么下次测试时它不返回True，而您最终会无限期地循环呢？while不应该改成if吗？这难道不意味着isOpened()可能正在返回False，否则你将无限期地循环吗？或者如果len(frames) < 8呢？这样看来，您最终也会得到一个空的输出文件。

我的建议是进行上述更改，然后再试一次。

更新

我仔细看了一下代码，发现它一次循环读取输入(before2.mp4(一帧，当它累积了8帧或更多帧时，它会创建一个池，处理累积的帧，并将其写入输出(after.mp4(。但这意味着，如果还有8帧，它将创建一个全新的处理池(非常浪费和昂贵(，然后写出8个额外处理的帧。但如果只有7个额外的帧，它们就永远不会被处理和写出。我建议使用以下代码(当然是未经测试的(：

def main():
import os
cap = cv2.VideoCapture('before2.mp4')
if not cap.isOpened():
return
_fourcc = cv2.VideoWriter_fourcc(*'MPEG')
out = cv2.VideoWriter('after.mp4', _fourcc, 29.97, (1280,720))
FRAMES_AT_A_TIME = 8
pool_size = min(FRAMES_AT_A_TIME, os.cpu_count())
with concurrent.futures.ProcessPoolExecutor(max_workers=pool_size) as executor:
more_frames = True
while more_frames:
frames = []
for _ in range(FRAMES_AT_A_TIME):
ret, fullimg = cap.read()
if not ret:
more_frames = False
break
frames.append(fullimg)
if not frames:
break # no frames        
results = executor.map(function, frames)
for i in results:
print(type(i))
out.write(i)
cap.release()
out.release()
cv2.destroyAllWindows() # destroy all opened windows
if __name__ == '__main__':
main()