默认优化器和变压器损失.Seq2SeqTrainer

Question

transformers.Seq2SeqTrainer的默认优化器和损失是什么？我在这里查过了https://huggingface.co/docs/transformers/main_classes/trainer但没有看到任何信息。

Answer 1

默认优化器是AdamW优化器。您可以查看transformer的文档部分。Seq2SeqTrainingHuggingface上的参数。我们在seq2seqTrainingArguments((中设置训练所需的参数，然后在seq2se2Trainer中使用这些参数进行训练。