使用joblib通过huggingface dump实现的简单变压器

Question

我有一个关于转储一个简单的转换器模型的问题。

我训练了一个模型，然后使用joblib:

转储它

dump(model, 'Simple_transfomers.joblib') 

，当我在另一个脚本中使用

加载它时

files = glob.glob('Simple_transfomers.joblib')
model = ClassificationModel(
"bert", "models/files"
)

或甚至尝试其他方式:

model = ClassificationModel(
"bert", "outputs/pytorch_model.bin"
)

我收到:

404 Client Error: Not Found for url: https://huggingface.co/*outputs/pytorch_model.bin*/resolve/main/config.json

我认为问题可能是使用google colab并将模型存储在google drive上。

是否有可能使用ClassificationModel读取gdrive目录?

阅读https://simpletransformers.ai/docs/usage/上的文档，但找不到任何解决方案。

Answer 1

如果您的dump有工作。转储时，您可以简单地使用joblib.load

model = joblib.load("Simple_transfomers.joblib")

joblib就像pickle(我认为它甚至使用pickle)，将python对象转储到文件中。