我目前正在使用 3 个标签做 NER:
- 人
- 电话
- 地址
我能够使用 python 代码训练我的模型,但我想使用 CLI 训练,它提供了更大的灵活性。
我已经将我的数据转换为空间偏移训练格式,如下所示:
[
["Bonjourrnrnrnrncordialement, Thomasrnrn tel 0102030405",{"entities": [[70,79,"PHONE"],[56,61,"PER"]]}]
]
为了使用 CLI 来训练/评估我的模型,我需要将这些数据转换为 Gold 格式。
我已经知道以下方法,但它需要使用现有的 nlp:
doc = nlp(text)
tags = biluo_tags_from_offsets(doc, offsets)
我的问题是:如果我需要创建具有特定标签的模型,如何将空间偏移转换为黄金。
您只需要这里的模型进行标记化和句子分割,因此也可以说:
from spacy.lang.en import English
nlp = English()
nlp.add_pipe(nlp.create_pipe("sentencizer"))