首先,我是基于'https://github.com/mikel-brostrom/Yolov5_DeepSort_Pytorch"。
问题1
创建的txt文件是否同时应用了yolo算法和深度排序算法?
问题2
我训练检测器yolo将其应用于自定义数据。deepsort之后是否也需要训练自定义数据?
问题1
Yolov5执行对象检测。生成的边界框将传递给跟踪对象的深度排序。跟踪是由基于两件事的关联完成的:
- 预测的卡尔曼状态和新到达的测量值之间的马氏距离
- 外观描述符
在组合中,这两个度量通过服务于分配问题的不同方面而相互补充。当运动不确定性较低时,Mahalanobis距离是合适的,但当存在遮挡和/或下落不明的帧时,跳过Mahalano比斯距离是相当无用的。因此,我们的想法是使用视觉度量来补充运动度量。为了做到这一点,为每个边界框检测计算外观描述符;画廊";在外观描述符中,这对于在长期闭塞或快速位移后恢复身份特别有用。
所以,是的。Yolo和DeepSort都用于生成txt文件。
问题2.
在最初的深度排序论文中,指出外观描述符是由在MARS上训练的CNN生成的。Deep Sort的一些实现也为此目的使用Market1501数据集。两者都只包含人。他们选择这些数据集是因为他们专注于只包含人员的MOT挑战数据集。
因此,理想情况下,您可以在要跟踪的类上训练自己的外观描述符。
据我所知,YOLOv5模型执行对象检测,Deepsort模型通过查看特征图将轨迹与检测关联起来。它们是非常不同的模型,因此必须单独训练。我还没能为我的自定义数据训练深度排序跟踪器。当我能够完成训练时,我会更新这个答案。
问题-1-txt文件将检测到类并提及它们的坐标,是的,深度排序和yolo应用于两个
问题-2-不,你不需要单独训练yolo和deepsort,它将在一步中完成