如何在离线模式下运行Huggingface BERT令牌化器

Question

在我的工作笔记本电脑中运行上述代码时，我收到了以下错误，但在我的个人笔记本电脑上运行时没有出现相同的错误。我想检查是否有办法修复这个SSL错误？有没有办法在离线模式下通过从github repos下载标记器来运行这些代码https://github.com/huggingface/transformers？

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained("bert-base-uncased")
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt')
output = model(**encoded_input)```
*SSLError: HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /api/models/bert-base-uncased (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1129)')))*

Answer 1

根据这个问题，https://github.com/huggingface/transformers/issues/10379，您可以导出变量TRANSFORMERS_OFFLINE=1，它应该可以工作(假设您可以在某个时间点获得连接(。

将此添加到您的代码中：

import os
os.environ['TRANSFORMERS_OFFLINE']=1

您需要至少连接一次才能使其工作，但它应该缓存它并随后脱机工作。