对于TfLite,GPU上不支持最后一个EfficientDet操作(TfLite_Detection_PostProc



我正在谷歌大脑的AutoML EfficientDet模型上运行TfLite模型分析器,如下所示:

model_path = "/content/efficientdet.tflite"
tf.lite.experimental.Analyzer.analyze(model_path=model_path, gpu_compatibility=True)

分析器输出显示最后一层不是支持的TfLite GPU操作:

GPU COMPATIBILITY WARNING: Not supported custom op TFLite_Detection_PostProcess
GPU COMPATIBILITY WARNING: Subgraph#0 has GPU delegate compatibility issues at nodes 482 with TFLite runtime version 2.8.2

GPU上不支持TFLite_Detection_PostProcess运算符。这导致CPU/GPU同步问题,并增加了延迟。

我需要做什么才能在Tensorflow Lite的GPU上运行操作?

我对重新编译TfLite二进制文件或修改神经网络持开放态度。

建议的解决方法是使用来自Tensorflow hub的2.11 TFLite Runtime和efficientdet模型,这些模型经过定期测试和维护。

附要点以供参考。

相关内容

  • 没有找到相关文章

最新更新