使用Tensorflow服务服务数百个模型

Question

我想为大约600个模型提供Tensorflow服务。

我正在努力寻找一个最终减少模型数量的解决方案:

1. 我的模型有相同的架构，只是权重改变了。是否有可能只加载一个模型并改变权重?

2. 是否有可能将所有这些模型有效地聚集在一起，模型的第一层将是该模型的ID和输入特征?

3. 有没有人试过在一台机器上运行几百个模型?我找到了这个大脑皮层的解决方案，但我想避免使用其他技术。https://towardsdatascience.com/how -部署- 1 - 000 -模型-在-一个cpu - tensorflow——服务——ec4297bff54b

Answer 1

如果模型具有相同的体系结构但权重不同，您可以尝试将所有这些模型合并为一个"超级模型"。但是，我需要更多地了解任务，看看是否可能。

要服务600个模型，你需要一个非常强大的机器和大量的内存(取决于你的模型有多大以及你并行使用它们的次数)。

你可以自己运行TFServe，也可以使用提供程序，比如Inferrd.com/Google/AWS。