使用空间偏移格式构建 GoldDoc,以使用 CLI 训练空白模型



我目前正在使用 3 个标签做 NER:

  • 电话
  • 地址

我能够使用 python 代码训练我的模型,但我想使用 CLI 训练,它提供了更大的灵活性。

我已经将我的数据转换为空间偏移训练格式,如下所示:

[
["Bonjourrnrnrnrncordialement, Thomasrnrn tel 0102030405",{"entities": [[70,79,"PHONE"],[56,61,"PER"]]}]
]

为了使用 CLI 来训练/评估我的模型,我需要将这些数据转换为 Gold 格式。

我已经知道以下方法,但它需要使用现有的 nlp:

doc = nlp(text)
tags = biluo_tags_from_offsets(doc, offsets)

我的问题是:如果我需要创建具有特定标签的模型,如何将空间偏移转换为黄金。

您只需要这里的模型进行标记化和句子分割,因此也可以说:

from spacy.lang.en import English
nlp = English()
nlp.add_pipe(nlp.create_pipe("sentencizer"))

最新更新