使用HuggingFace对mBART进行预训练任务微调



我想使用预训练任务在我的数据上微调facebook/mbart-large-cc25,特别是掩模语言建模(MLM)。

我如何在HuggingFace中做到这一点?

编辑:为了清晰,重写了问题

由于您在HuggingFace中执行所有操作,因此对预训练任务(假设HuggingFace中提供了预训练任务)的模型进行微调对于大多数模型来说几乎是相同的。您对微调mBART的哪些任务感兴趣?

Hugginface为几个微调任务提供了广泛的文档。例如,下面提供的链接将帮助您微调HF模型的语言建模,MNLI, SQuAD等https://huggingface.co/transformers/v2.0.0/examples.html和https://huggingface.co/transformers/training.html

相关内容

  • 没有找到相关文章

最新更新