我正在谷歌大脑的AutoML EfficientDet模型上运行TfLite模型分析器,如下所示:
model_path = "/content/efficientdet.tflite"
tf.lite.experimental.Analyzer.analyze(model_path=model_path, gpu_compatibility=True)
分析器输出显示最后一层不是支持的TfLite GPU操作:
GPU COMPATIBILITY WARNING: Not supported custom op TFLite_Detection_PostProcess
GPU COMPATIBILITY WARNING: Subgraph#0 has GPU delegate compatibility issues at nodes 482 with TFLite runtime version 2.8.2
GPU上不支持TFLite_Detection_PostProcess运算符。这导致CPU/GPU同步问题,并增加了延迟。
我需要做什么才能在Tensorflow Lite的GPU上运行操作?
我对重新编译TfLite二进制文件或修改神经网络持开放态度。
建议的解决方法是使用来自Tensorflow hub的2.11 TFLite Runtime和efficientdet模型,这些模型经过定期测试和维护。
附要点以供参考。