如何从拥抱脸部微调模特



我想下载一个预训练的模型,并用我自己的数据对模型进行微调。我从拥抱脸上下载了一个bert大型NER模型工件,我在下面列出了内容。作为新手,我想知道我需要什么文件或工件,从外观上看,pytorch_model.bin是经过训练的模型,但其他文件是什么以及它们的用途,比如tokenizer文件和vocab.txt…

config.json
pytorch_model.bin
special_tokens_map.json
tokenizer_config.json
vocab.txt

这些不同的文件是模型的元数据和您正在使用的标记化器(当您序列化模型时,这是输出(。要从HF Hub微调预先训练的模型,您可以使用PyTorch或TF,也可以使用Trainer课程,在那里您不必编写自己的自定义训练代码。例如:

trainer = Trainer(
model=model,
args=training_args,
train_dataset=small_train_dataset,
eval_dataset=small_eval_dataset,
compute_metrics=compute_metrics,
)

请参阅此处的官方文档,了解如何端到端地调整预先训练的模型:https://huggingface.co/docs/transformers/training.

最新更新