我想使用预训练任务在我的数据上微调facebook/mbart-large-cc25
,特别是掩模语言建模(MLM)。
我如何在HuggingFace中做到这一点?
编辑:为了清晰,重写了问题
由于您在HuggingFace中执行所有操作,因此对预训练任务(假设HuggingFace中提供了预训练任务)的模型进行微调对于大多数模型来说几乎是相同的。您对微调mBART的哪些任务感兴趣?
Hugginface为几个微调任务提供了广泛的文档。例如,下面提供的链接将帮助您微调HF模型的语言建模,MNLI, SQuAD等https://huggingface.co/transformers/v2.0.0/examples.html和https://huggingface.co/transformers/training.html