我正在 nltk 库中学习 BigramTagger 类。我使用 nltk 附带的棕色语料库训练"句子部分"标记器。
我注意到，如果我在这个语料库上进行训练，然后从语料库的第一句话中标记几个单词，效果很好。
from nltk.corpus import brown
from nltk.tag import BigramTagger
from nltk import word_tokenize
# Works completely fine:
brown_train = brown.tagged_sents(categories='news')
bigram_tagger = BigramTagger(brown_train)
print(bigram_tagger.tag(word_tokenize("that any irregularities took place")))
我们得到预期的输出：
[('that'， 'CS'(， ('any'， 'DTI'(， ('不规范'， 'NNS'(， ('take'， 'VBD'(， ('place'， 'NN'(]
但是如果我只用 100 个句子训练，它就会失败。
# Fails to work:
brown_train = brown.tagged_sents(categories='news')[:100]
bigram_tagger = BigramTagger(brown_train)
print(bigram_tagger.tag(word_tokenize("that any irregularities took place")))
它无法标记这些单词，因此它为它们提供了 None 标记：
[('那个'，无(，('任何'，无(，('违规'，无(，('采取'，无(， ('地点'， 无(]
课程是否有最低语料库要求？还是我忘记了其他一些参数使模型在第二种情况下失败？
我在这里查看了文档：http://www.nltk.org/api/nltk.tag.html#nltk.tag.sequential.BigramTagger，看起来有一个截止参数，但默认情况下设置为 0。
这是一个有趣的问题。看起来您正在使用训练数据测试标记器，但有一个关键的区别：由于您使用的是第一个句子_a片段*，因此它的第一个单词的呈现方式与训练中的使用方式不同。对你的问题的简短回答是，这不是语料库大小，只是在训练中是否看到了相关的上下文。对于较短的训练数据，第一个单词从未在相同的(句子首字母(位置出现过;但是对于长数据集，它有。
现在了解详细信息：ngram 标记器根据当前单词和以前的n-1POS 标记("上下文"(选择 POS 标记。在句子的开头，一个单词有空的"上下文";若要标记测试短语的第一个单词，标记器需要在训练数据中的句子开头看到它。 测试短语中的第一个单词是"that"，不带大写。它真的会发生在训练数据中吗？是的，它可以：
>>> for n, s in enumerate(brown.sents(categories="news")):
if s[0] == 'that':
print(n, " ".join(s))
3322 that its persistent use by ballet companies of the Soviet regime indicates that that old spirit is just as stultifying alive today as it ever was ; ;
3323 that its presentation in this country is part of a capitalist plot to boobify the American people ; ;
3324 that its choreography is undistinguished and its score a shapeless assemblage of self-plagiarisms .
就布朗语料库而言，这些是完整的句子。可能有一个原因，但真的不重要，现在就这样做。只要您的训练数据至少包含其中之一，您就可以在标记器的内部表中查找上下文：
>>> bigram_tager._context_to_tag[(tuple(), "that")]
'CS'
在你用前 100 个句子训练的标记器上(或者在用前 3000 个句子训练的标记器上，因为在正确的位置仍然没有小写的"that"(，尝试同样的事情，你会得到一个KeyError。尚未看到上下文，标记器返回None作为第一个单词的标记。 一旦失败，标记第二个单词将失败(再次错误的上下文(等。
实用建议：始终使用退避标记器(它将使用单词的所有实例来选择标记(，用适当的大写标记完整的句子，或两者兼而有之。