torchserve模型未运行并给出大量错误

Question

我运行了以下命令
torch-model-archiver --model-name "bert" --version 1.0 --serialized-file ./bert_model/pytorch_model.bin --extra-files "./bert_model/config.json,./bert_model/vocab.txt" --handler "./handler.py"

我创建了所有的文件，然后创建了一个新目录，并将模型复制到其中。

然后执行以下命令:

torchserve --start --model-store model_store --models bert=bert.mar

然后显示一系列错误。

这是我的错误文本。它太长且重复;因此，我把它贴在了粘贴箱上。

误差

Answer 1

我建议降低每个模型的工作人员数量(每个模型的默认工作人员:12)现在你得到了你可以处理的最大数量

如何?进入config。属性文件并添加(第一行表示工人2):

default_workers_per_model=2

然后当你将做火炬服务添加这个(ts-config选项指向你的配置的位置。属性文件):

torchserve  --start 
--model-store  ./deployment/model-store 
--ts-config ./deployment/config.properties 
--models bert=bert.mar

让我知道这是否解决了错误。

注意:您也可以在配置中添加其他参数。属性文件，如:

inference_address=http://0.0.0.0:8080
management_address=http://0.0.0.0:8081
metrics_address=http://0.0.0.0:8082
default_workers_per_model=2
number_of_netty_threads=1
netty_client_threads=1
prefer_direct_buffer=true