我试图理解fine-tuning和few-shot学习的概念。
我理解微调的需要。它本质上是将预训练的模型调优到特定的下游任务。然而，最近我看到了大量关于零次学习、一次学习和几次学习的博客文章。
- 它们与微调有何不同?在我看来，几次学习是一种专业化的微调。我遗漏了什么?
谁能帮帮我?
微调-当你已经训练了一个模型来执行你想要的任务，但在不同的数据集上，你使用预训练的权重进行初始化，并在目标数据集(通常是较小的)上训练它(通常具有较小的学习率)。
Few shot learning -当你想用很少的样本在任何任务上训练模型时。例如，你有一个在不同但相关的任务上训练的模型，你(可选地)修改它并使用少量示例来训练目标任务。
例如:
Fine tuning -训练一个用于意图分类的模型，然后在不同的数据集上对其进行微调。
Few shot learning -在大型文本数据集上训练语言模型并修改它(通常是最后(几)层)，通过在小型标记数据集上训练来分类意图。
可以有更多的方法来做一些镜头学习。再举一个例子，训练一个模型来对图像进行分类，其中一些类的训练样本数量非常少(或者0代表零次射击，1代表一次射击)。在这里，在推理中，正确地分类这些罕见的类(在训练中是罕见的)成为少量射击学习的目标。