如何将 TRT 优化模型转换为保存的模型?

Question

我想将 TRT 优化的冻结模型转换为保存的模型以进行张量流服务。有什么建议或来源可以分享吗？

或者有没有其他方法可以在张量流服务中部署 TRT 优化模型？

谢谢。

Answer 1

假设您有一个 TRT 优化模型(即该模型已经在 UFF 中表示(，您只需按照此处概述的步骤操作：https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html#python_topics。请特别注意第 3.3 节和第 3.4 节，因为在这两节中，您实际构建了 TRT 引擎，然后将其保存到文件中供以后使用。从那时起，您可以重用序列化引擎(也称为 PLAN 文件(进行推理。

基本上，工作流如下所示：

1. 在 TensorFlow 中构建/训练模型。
2. 冻结模型(你得到一个protobuf表示(。
3. 将模型转换为 UFF，以便 TensorRT 可以理解它。
4. 使用 UFF 表示来构建 TensorRT 引擎。
5. 序列化引擎并将其保存到 PLAN 文件。

完成这些步骤后(在我提供的链接中应该有足够的示例代码(，您只需加载 PLAN 文件并一遍又一遍地重复使用它进行推理操作。

如果您仍然卡住，这里有一个默认安装的很好的例子：/usr/src/tensorrt/samples/python/end_to_end_tensorflow_mnist.您应该能够使用该示例来了解如何获得 UFF 格式。然后，您可以将其与我提供的链接中的示例代码结合使用。