我正在尝试使用 spacy 2.1.3 创建一个二元分类器，为了执行过拟合测试，我想评估测试样本的损失。在他们的教程中，损失被用作参数并以某种方式更新：
https://github.com/explosion/spaCy/blob/master/examples/training/train_textcat.py#L90
我找不到任何如何在我的测试样本上评估它的示例。理想情况下，我想制作如下所示的情节：
https://machinelearningmastery.com/learning-curves-for-diagnosing-machine-learning-model-performance/
我尝试深入研究他们的代码，但没有找到任何有用的东西。有没有人尝试过制作类似的情节？
感谢您的帮助和评论:)
变量
losses是在训练循环期间设置的，参见 https://github.com/explosion/spaCy/blob/master/spacy/pipeline/pipes.pyx#L931。
您要做的是在每次迭代(纪元(之后，打印出此训练损失，但也要在保留的开发测试集上执行自己的评估。将训练中的模型应用于开发集时，可以使用平均模型参数，如下所述：https://spacy.io/usage/training#tips-param-avg。
对于此开发评估，您可以实现您喜欢的任何指标，例如准确性、精度、召回率、F 分数或类似于您一直在训练的损失函数，参见 https://github.com/explosion/spaCy/blob/master/spacy/pipeline/pipes.pyx#L950。