微调API中model属性的OpenAI文档状态有点令人困惑:
要微调的基本模型的名称。您可以选择"ada" "babbage" "curie" "davinci"或"微调模型创建于2022-04-21之后。
我的问题是:是对基本模型进行微调还是对模型进行微调?
我从ada创建了一个微调模型，文件mydata1K.jsonl:
ada + mydata1K.jsonl --> ada:ft-acme-inc-2022-06-25
现在我有一个更大的样本mydata2K.jsonl文件，我想用它来改进微调模型。在第二轮微调中，是再次微调ada还是微调我的微调模型ada:ft-acme-inc-2022-06-25?我假设这是可能的，因为我的微调模型是在2022年4月21日之后创建的。
ada + mydata2K.jsonl --> better-model
或
ada:ft-acme-inc-2022-06-25 + mydata2K.jsonl --> even-better-model?
UPDATE
就像OpenAI官方文档中所说的那样，现在已经不支持对模型进行微调了:
我可以继续微调已经微调过的模型吗?
不，我们目前不支持继续微调过程一旦工作完成。我们计划在不久的将来支持它。
如OpenAI官方文档所述:
如果您已经为您的任务微调了一个模型，并且现在有您可以合并其他您想要的训练数据继续从模型进行微调。这创建了一个具有从所有的训练数据中学习而不需要重新训练从零开始。
要做到这一点，在创建新模型时传入经过微调的模型名称微调作业(如
-m curie:ft-<org>-<date>)。其他培训参数不必更改，但是如果您的新训练数据比你以前的训练数据小得多，你可能会发现它可将learning_rate_multiplier降低2到4倍。
选择哪个选项?
你问的是两个选项:
- 选项1:
ada + bigger-training-dataset.jsonl - 选项2:
ada:ft-acme-inc-2022-06-25 + additional-training-dataset.jsonl
文档没有说明哪个选项更好，也没有说明哪个选项会产生更好的结果。
然而…
选择选项2
为什么?
当训练一个微调模型时，使用的总令牌将被计费根据我们的培训费率。
如果你选择选项1，你将为训练数据集中的一些令牌支付两次费用。首先是在对初始训练数据集进行微调时，其次是在对更大的训练数据集(即bigger-training-dataset.jsonl=initial-training-dataset.jsonl+additional-training-dataset.jsonl)进行微调时。
最好从一个微调模型继续微调，因为你只需要为额外的训练数据集中的令牌付费。
阅读更多关于微调定价计算的信息。