如何在手机应用程序中加快YoloV5 TFLite推理时间?

Question

我使用YoloV5模型进行自定义对象识别，当我将其导出到flite模型以包含在移动应用程序中时，对象识别的结果时间为5201.2ms推断。如何将推理减少到最优以实现更快的识别?我使用的数据集训练是2200 yolov5x训练图像和使用模型。谢谢你的帮助!!

Answer 1

您有几个选择:

1. 训练一个较小的Yolo模型(例如m代替x)
2. 调整图像的大小(640x640到例如320x320，注意尺寸需要是最大跨距32的倍数)
3. 量化模型到FP16或INT8
4. 使用NNAPI委托(仅当CPU包含任何硬件加速器:GPU, DSP, NN引擎时提供加速)

这些选项都不相互排斥，所有选项都可以同时使用以获得最大的推理速度。1,2 &3会牺牲模型性能来换取推理速度。