如何在不同的芹菜任务工作者中共享张量子流模型

Question

我正在做一些NLP工作，并且有TensorFlow训练的模型。我提供了一些API，可以使用这些模型来完成单词剪切，并通过芹菜调度请求。

情况是：

芹菜将向不同的工人派遣任务(大约4-5(，因此每个工人必须加载上面的模型，因此内存将被大量占用。

所以有任何方法可以在工人之间共享模型？我实际上不知道芹菜工人的基本机制。

谢谢

Answer 1

您可以看一下将您的模型作为GRPC API的TensorFlow服务。它支持批处理，听起来像您要做的事情。如果由于某种原因确实需要芹菜(例如，在后台运行这些任务(，您只需调用芹菜任务的TensorFlow服务API即可。