如何根据问答基准测试我的openai微调模型

Question

我认为文档只解释了如何通过API使用模型，但这不允许太多的灵活性和自动化。例如，我不知道如何根据HuggingFace的一些流行基准测试我的模型。

Answer 1

微调Open AI模型的一般流程包括创建一个帐户，拥有有效的API密钥，然后使用CLI工具上传数据进行微调，如下所述：https://beta.openai.com/docs/guides/fine-tuning

然后，为了根据问答基准进行测试，如SQuAD，您只需下载数据集，创建一个接受问题的脚本(见下面的json片段)，并通过调用API(使用curl)将问题提供给您的模型：https://beta.openai.com/docs/api-reference/making-requests

"question": "What century did the Normans first gain their separate identity?",
"id": "56ddde6b9a695914005b962c",
"answers": [
{
"text": "10th century",
"answer_start": 671
},
{
"text": "the first half of the 10th century",
"answer_start": 649
},
{
"text": "10th",
"answer_start": 671
},
{
"text": "10th",
"answer_start": 671
}
],
"is_impossible": false