我怎样才能让SpaCy识别我所有给定的实体

Question

我有一个JSONL格式的模式列表，我加载并添加到实体标尺中

new_ruler = EntityRuler(nlp).from_disk(project_path + "data/skill_patterns.jsonl")
nlp.add_pipe(new_ruler)

打印结果时：print([(ent.text, ent.label_) for ent in doc.ents])我的输出是：

[('data science','SKILL|data-science'), ('CV', 'ORG'), ('Kandidaat', 'FAC'), ('één', 'CARDINAL'), ('LSTM',
'ORG'), ('Parts', 'GPE'), ('Speech', 'GPE'), ('POS', 'ORG'), ('Entity Recognition', 'ORG'), 
('NER', 'ORG'), ('Word2vec', 'ORG'), ('GloVe', 'ORG'), ('Recursive', 'NORP'), ('Neural Networks', 'ORG'),
('Ensemble', 'PERSON'), ('Dynamic', 'NORP'), ('Intent detection', 'PERSON'), ('Phrase matching.-', 'ORG'),
('Microsoft', 'NORP'), ('Azure.-', 'ORG'), ('één', 'CARDINAL'), ('Python', 'WORK_OF_ART'),
('Pytorch', 'GPE'), ('Django', 'GPE'), ('GoLanguage.-', 'GPE'), ('Kandidaat', 'FAC'), ('1 november 2020', 'DATE')]

现在我知道了一个事实，例如('Pytorch', 'GPE')或('Django', 'GPE')在我的模式列表中，应该被识别为SKILL，而不是它们现在被分配的实体。这也适用于相当多的其他"技能"。

{"label":"SKILL|django","pattern":[{"LOWER":"django"}]}
{"label":"SKILL|pytorch","pattern":[{"LOWER":"pytorch"}]}

有人知道为什么它不坚持我自己创造的实体吗？

有没有一种方法可以使我的实体优先于模型中已经存在的实体？

谢谢！

Answer 1

我找到了一个解决方案。

通过在管道中的NER(解析器之后(之前添加new_ruler，它为创建的实体提供了优先级

nlp.add_pipe(new_ruler, after='parser')