CNN模型部署:如何优化

Question

这是我第一次部署模型。我使用tensorflow, keras, Xception创建了一个cnn模型，保存的模型约为80 mb。当我从函数加载它并进行预测时，大约需要4-5秒。有没有办法减少这个时间?每次预测都需要加载模型吗?

输入图片描述

Answer 1

模型在程序中只加载一次。对于每个预测，都使用加载的模型。这可能需要时间来预测。TensorFlow不加载预测模型。更好的方法是只在训练后保存权重，为了推理创建模型架构，然后加载保存的权重。