具有cnn的微调bert模型的save_pretrrained函数

Question

class MixModel(nn.Module):
def __init__(self,pre_trained='bert-base-uncased'):
super().__init__() 
config = BertConfig.from_pretrained('bert-base-uncased', output_hidden_states=True)
self.bert =  BertModel.from_pretrained('bert-base-uncased',config=config)
self.hidden_size = self.bert.config.hidden_size
self.conv = nn.Conv1d(in_channels=3072, out_channels=256, kernel_size=5, stride=1)
self.relu = nn.ReLU()
self.pool = nn.MaxPool1d(kernel_size= 64- 5 + 1)

self.dropout = nn.Dropout(0.3)
self.flat=nn.Flatten()
self.clf1 = nn.Linear(256,256)
self.clf2= nn.Linear(256,6)


def forward(self,inputs, mask , labels):
inputs=torch.tensor(inputs)
mask=torch.tensor(mask)
labels=torch.tensor(labels)

x = self.bert(input_ids=inputs,attention_mask=mask, return_dict= True) 

x = self.conv(x)
x = self.relu(x)
x = self.pool(x)
x = self.dropout(x)
x = self.flat(x)
x = self.clf1(x)
x = self.clf2(x)

return x

我想在训练后为我的模型保存模型、权重和配置文件。经过搜索，我发现model.save_pretrained函数对我来说是一个很好的解决方案，但我得到了一个错误，称为mixmodel的模型没有称为save_pretraind的函数那么我如何保存我的模型mixmodel的配置文件呢？

Answer 1

我认为"state_dict"；就是你所需要的。

文档中有一个很好的PyTorch教程https://pytorch.org/tutorials/beginner/saving_loading_models.html