>我用 1M 个样本训练了一个 seq2seq 模型,并保存了最新的检查点。现在,我有一些 50K 句子对的额外训练数据,这在以前的训练数据中没有看到。如何在不从头开始训练的情况下使当前模型适应这些新数据?
您不必重新运行整个网络初始化。您可以运行增量训练。
根据预训练参数进行训练
另一个用例是使用基本模型并使用新的训练选项(特别是优化方法和学习率(进一步训练它。使用不带
-continue
-train_from
将使用从预训练模型初始化的参数开始新的训练。
请记住以与标记前一个语料库相同的方式标记您的 50K 语料库。
此外,您不必使用相同的词汇表,从 OpenNMT 0.9 开始。请参阅更新词汇表部分,并将适当的值与-update_vocab
一起使用选项。