Bert分类器模型的量化

Question

我目前正在尝试量化一个bert分类器模型，但遇到了一个错误，我想知道目前是否支持这一点？为了清楚起见，我想问tensorflow模型花园中的BERT分类器超类是否支持量化？提前感谢您的帮助！

Answer 1

如果您对在资源受限的边缘设备(如手机(上运行类似BERT的模型感兴趣，量化标准BERT分类器可能不是一个好方法。对于您的具体问题，我相信答案是"不，不支持标准BERT的量化。"然而，更好的答案可能是使用为边缘用例创建的较小的BERT类型模型之一，例如MobileBERT:

https://github.com/google-research/google-research/tree/master/mobilebert

上面的链接包括用于微调的脚本，然后转换为TF-Lite格式以便在设备上运行。