我是DL/实时对象检测领域的新手，正在尝试从Youtube学习一些东西。现在我的问题是，我在谷歌colabrotary中使用yolov3训练了一个实时对象检测模型。现在我有了用于实时对象检测的yolov3_training_last.weightsyolov3_testing.cfgclasses.txt文件。我使用了一个python文件，但在使用笔记本电脑相机时，它能给我2-3帧/秒的速度。有什么方法可以提高我的fps吗？我想它在用我的CPU进行实时馈送。如何将其切换到GPU？正如我所说，我是这个领域的新手，如果有什么方法的话，你能解释我怎么做吗？如果没有，你能告诉我训练实时物体检测模型的其他方法吗？如果你能帮助我，我将不胜感激。提前谢谢。。。
我的GPU:GTX1650
我的CPU:英特尔酷睿i7 9750H
我的python文件在这里：
import cv2
import numpy as np
net = cv2.dnn.readNet('yolov3_training_last.weights', 'yolov3_testing.cfg')
classes = []
with open("classes.txt", "r") as f:
classes = f.read().splitlines()
cap = cv2.VideoCapture(0)
font = cv2.FONT_HERSHEY_PLAIN
colors = np.random.uniform(0, 255, size=(100, 3))
while True:
_, img = cap.read()
height, width, _ = img.shape
blob = cv2.dnn.blobFromImage(img, 1/255, (416, 416), (0,0,0), swapRB=True, crop=False)
net.setInput(blob)
output_layers_names = net.getUnconnectedOutLayersNames()
layerOutputs = net.forward(output_layers_names)
boxes = []
confidences = []
class_ids = []
for output in layerOutputs:
for detection in output:
scores = detection[5:]
class_id = np.argmax(scores)
confidence = scores[class_id]
if confidence > 0.2:
center_x = int(detection[0]*width)
center_y = int(detection[1]*height)
w = int(detection[2]*width)
h = int(detection[3]*height)
x = int(center_x - w/2)
y = int(center_y - h/2)
boxes.append([x, y, w, h])
confidences.append((float(confidence)))
class_ids.append(class_id)
indexes = cv2.dnn.NMSBoxes(boxes, confidences, 0.2, 0.4)
if len(indexes)>0:
for i in indexes.flatten():
x, y, w, h = boxes[i]
label = str(classes[class_ids[i]])
confidence = str(round(confidences[i],2))
color = colors[i]
cv2.rectangle(img, (x,y), (x+w, y+h), color, 2)
cv2.putText(img, label + " " + confidence, (x, y+20), font, 2, (255,255,255), 2)
cv2.imshow('Image', img)
key = cv2.waitKey(1)
if key==27:
break
cap.release()
cv2.destroyAllWindows()
默认情况下，OpenCV的dnn模块不在GPU上运行，因此，您的模型可能在CPU上运行。
提高吞吐量的一个简单方法是查看模型优化，如量化和修剪。有几种方法可以做到这一点，下面链接了一些流行的优化方法。
可以进行一些优化来提高模型吞吐量(FPS(：
- 使用OpenVINO为Intel CPU优化：
- 官方文档：YOLOv3到Intel OpenVINO的转换
- 使用Intel OpenVINO的项目：实时人脸匿名器
- 优化Nvidia GPU-OpenCV的
dnn模块：- PyImageSearch博客：使用NVIDIA GPU的OpenCV
dnn：YOLO、SSD和Mask R-CNN速度快1549%
- PyImageSearch博客：使用NVIDIA GPU的OpenCV
- 针对Nvidia GPU进行优化-TensorRT:
- 转换YOLOv3权重>ONNX运行时>TensorRT
- 博客：YOLOv3的TensorRT转换预训练
- 博客：为YOLOv3定制训练的TensorRT转换
- TensorRT转换演示源代码
每一项都涉及到一定量的学习曲线。不幸的是，没有简单的出路。
要首先使用GPU，您应该在计算机上安装CUDA和启用CUDA的Opencv。完成后，您应该更改代码的这一部分
net = cv2.dnn.readNet('yolov3_training_last.weights', 'yolov3_testing.cfg')
到这个
net = cv.dnn.readNetFromDarknet('yolov3_testing.cfg', 'yolov3_training_last.weights')
net.setPreferableBackend(cv.dnn.DNN_BACKEND_CUDA)
net.setPreferableTarget(cv.dnn.DNN_TARGET_CUDA)
对于安装CUDA和OpenCV，我建议使用以下视频：
- https://www.youtube.com/watch?v=YsmhKar8oOc&t=173秒