docker run命令
docker run -t --rm -p 8500:8500 -p 8501:8501
-v /home/zhi.wang/tensorflow-serving/model:/models
-e MODEL_NAME=beidian_cart_ctr_wdl_model tensorflow/serving:1.12.0
--enable_batching=true --batching_parameters_file=/models/batching_parameters.txt &
batching_parameters.txt
num_batch_threads { value: 40 }
batch_timeout_micros { value: 5000}
max_batch_size {value: 20000000}
服务器配置
40 CPU和64G内存
测试结果
1线程预测成本30ms
40线程预测一个预测成本300ms
CPU用法
docker中的CPU使用量最多可达300%,主机CPU使用率很低
Java测试脚本
TensorProto.Builder tensor = TensorProto.newBuilder();
tensor.setTensorShape(shapeProto);
tensor.setDtype(DataType.DT_STRING);
// batch set 200
for (int i=0; i<200; i++) {
tensor.addStringVal(example.toByteString());
}
我也面临相同的proble,我发现这也许是网络io问题,您可以使用DSTAT监视您的网络接口。
和i fient示例.tobytestring()也花费了很多时间