如何将BERT Huggingface问答转换器管道保存为可重用模型

Question

我编写了一个使用变压器管道协议的问答BERT应用程序。我想把它移植到树莓派4上。是否有一种方法可以捕获完整的缓存推理变压器管道模型，量化它，保存它，并将其转换为Tensorflow Lite模型?我希望用户能够针对经过微调的模型提出多个特别的问题。

Answer 1

您可能需要检查Pickle。

这是一种封装对象的实用方法，因此您可以保存/导出和导入/加载。

你可以将整个模型/管道保存在一个pickle文件中，并将其加载到你的Raspberry中。