Tensorflow在远程虚拟机上服务，为来自客户端的HTTP预测请求提供服务

Question

根据这里的官方Tensorflow Serving文档，我已经在带有GPU的远程虚拟机上创建了Model服务，以便在localhost上服务，预测工作正常。然而，目的是在远程VM上为模型提供服务，以便客户端能够将HTTP预测请求发送到他们已知IP地址的远程服务器。在一台客户端机器上，我将"localhost"更改为远程IP，保持其他一切不变，并发送了请求。但是，连接超时。非常感谢您的帮助/建议
curl -d '{"instances": [1.0,2.0,5.0]}' -X POST http://<Remote Machine IP>:8501/v1/models/saved_model_half_plus_three:predict

Answer 1

端口未打开。如果你想要的话，按照防火墙规则，从0.0.0.0/0源IP范围添加8501端口。

但是，对于生产，我建议您将其放在负载均衡器后面，以拥有一个管理实例组和其他可扩展和安全的东西。