TensorFlowLite、TendorFlow TRT和TensorRT之间的主要区别是什么

Question

我正在使用Coral devboard和英伟达Jetson TX2。这就是我了解TensorFlow Lite、TensorFlow TRT和TensorRT的原因。我有一些关于他们的问题：

1. 在TensorFlow TRT和TensorRT之间：当使用与TensorRT完全优化/兼容的图形时，哪一个更快，为什么？

2. 在谷歌珊瑚中使用TFlite的管道(当使用TensorFlow 1.x…时(是：

a。使用TensorFlow动物园中可用的模型

b。将模型转换为冻结(.pb(

c。使用protobuff序列化图形

d。转换为Tflite

e。应用量化(INT8(

f。编译

使用TensorFlow TRT和TensorRT时，管道是什么？有什么地方可以找到关于它的好文档吗？

到目前为止，我认为TensorRT更接近TensorFlow Lite，因为：

• TFlite：编译后，您会得到一个.quant.edtpu.TFlite文件，该文件可用于在开发板中进行推理

• TensorRT：您最终会得到一个.plan文件，以便在开发板中进行推理。

感谢您的回答，如果您能给我指一些比较它们的文档，我们将不胜感激。

Answer 1

TensorRT是一个非常快速的CUDA运行时，仅适用于GPU。我使用的是Nvidia Jetson Xavier NX，Tensorflow模型转换为TensorRT，在Tensorflow RT(TRT(运行时运行。TRT运行时的好处是，TensorRT上任何不受支持的操作都将回退到使用Tensorflow。

我还没有尝试Tensorflow Lite，但我将其理解为仅在"；小型设备"；。它可以支持GPU，但只能支持有限的操作，我认为(目前(没有python绑定。