喂养空间NER模型的负示例以改善训练

  • 本文关键字:空间 NER 模型 python spacy
  • 更新时间 :
  • 英文 :


我已经为spacy的ner模型提供了一组GoldParse对象进行训练。

我现在想做的是评估新句子的结果,并将每个识别的实体标记为"好"或"坏",然后将这些信息合并到新一批训练中。

这可能吗? ner模型如何从负样本中学习?

是的,可以从负面例子中学习 - 它是在spaCy中实现的,因为它是我们的商业注释工具Prodigy的关键功能,https://prodi.gy

要将跨度标记为"非人",您可以制作其标签!人。这应该是你需要做的。目前没有简单的方法来编码约束,如"不是人,也不是组织"——你必须在spacy/syntax/ner.pyx内自定义成本函数

该模型可以从"not PERSON"等注释中学习,因为spaCy的NER和解析器都使用基于转换的模仿学习算法。在每个词中,我们都试图预测要采取哪种行动,以改变当前状态。监督来自预言机,它告诉我们哪些操作会引入新的错误。如果我们知道某些文本跨度不是一个人,预言机可以使用它来将某些操作标记为成本高昂。我们会有多个零成本操作,但这很正常---无论如何,它在正常训练中经常发生。

您可以在此视频中了解有关实体识别器工作原理的详细信息:https://www.youtube.com/watch?v=sqDHBH9IjRU

最新更新