张量流 2 多个同时预测

Question

在 Tensorflow 2 中加载保存的模型后tf.saved_model.load(my_model)如何使用相同的模型(不是图形(运行多个预测？

我正在使用多处理包中的池类。在加载模型之前在帮助程序方法中导入张量流和 keras 没有帮助：

import tensorflow as tf
import keras
tf.saved_model.load(my_model)

错误代码：

无法腌制本地对象 'Loader._recreate_base_user_object.._UserObject'

Answer 1

正如stackoverflow中所建议的那样，在数组中传递多个输入(numpy或python无关紧要(比for循环更好。性能提高了 25%。 不要忘记设置线程数：

tf.config.threading.set_intra_op_parallelism_threads(num_cores)
tf.config.threading.set_inter_op_parallelism_threads(num_cores)

但是应该注意的是，张量流将使用线程数乘以内存。