我正在使用教师和学生BERT模型进行蒸馏,并使用estimator.export_saved_model
导出学生模型。这在TF1中工作得很好,但我搬到TF2以便能够使用多gpu训练,现在我不断得到以下错误信息:
tensorflow.python.framework.errors_impl.NotFoundError: Key bert/embeddings/dense/bias not found in checkpoint
[[{{node save/RestoreV2}}]]
当我调查检查点中的节点名称时,我发现它们都有某种后缀,这就是为什么找不到它们的原因,例如bert/embeddings/dense_21/bias
。
我猜这是什么新的TF2命名?为什么会发生这种情况,我该如何关闭它?我已经尝试删除后缀并覆盖检查点,但这不起作用。
根据官方文档,不鼓励在TF2中使用Estimators,并且除了漏洞修复之外,它们没有得到进一步的支持。
请参阅从Estimator到Keras api的迁移指南。