使用带有本地模型的管道

Question

我正在尝试使用一个简单的pipeline离线。我只能直接从网上下载文件。

我去https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english/tree/main下载了所有的文件在一个本地文件夹C:\Users\me\mymodel

然而，当我试图加载模型时，我得到一个奇怪的错误

from transformers import pipeline
classifier = pipeline(task= 'sentiment-analysis', 
model= "C:\Users\me\mymodel",
tokenizer = "C:\Users\me\mymodel")
ValueError: unable to parse C:Usersmemymodelmodelcard.json as a URL or as a local path

这里有什么问题?谢谢!

Answer 1

必须是以下两种情况之一:

• 您没有正确下载所需的所有文件
• 文件夹路径错误

仅供参考，我在目录中列出了所需的内容:

• json
• pytorch_model.bin/tf_model.h5
• special_tokens_map.json
• tokenizer.json
• tokenizer_config.json
• vocab.txt

Answer 2

解决方案有点间接:

1. 将模型加载到可以上网的计算机上
2. 用save_pretrained()保存模型
3. 将上述获得的文件夹传输到脱机机，并将其路径指向pipeline调用

文件夹将包含所有期望的文件。