Python TfidfVectorizer throwing：空词汇;也许文件只包含停用词"

Question

我正在尝试使用Python的Tfidf来转换文本语料库。但是，当我尝试fit_transform它时，我收到一个值错误 值错误：空词汇表;也许文件只包含停用词。

In [69]: TfidfVectorizer().fit_transform(smallcorp)
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-69-ac16344f3129> in <module>()
----> 1 TfidfVectorizer().fit_transform(smallcorp)
/Users/maxsong/anaconda/lib/python2.7/site-packages/sklearn/feature_extraction/text.pyc in fit_transform(self, raw_documents, y)
   1217         vectors : array, [n_samples, n_features]
   1218         """
-> 1219         X = super(TfidfVectorizer, self).fit_transform(raw_documents)
   1220         self._tfidf.fit(X)
   1221         # X is already a transformed view of raw_documents so
/Users/maxsong/anaconda/lib/python2.7/site-packages/sklearn/feature_extraction/text.pyc in fit_transform(self, raw_documents, y)
    778         max_features = self.max_features
    779 
--> 780         vocabulary, X = self._count_vocab(raw_documents, self.fixed_vocabulary)
    781         X = X.tocsc()
    782 
/Users/maxsong/anaconda/lib/python2.7/site-packages/sklearn/feature_extraction/text.pyc in _count_vocab(self, raw_documents, fixed_vocab)
    725             vocabulary = dict(vocabulary)
    726             if not vocabulary:
--> 727                 raise ValueError("empty vocabulary; perhaps the documents only"
    728                                  " contain stop words")
    729 
ValueError: empty vocabulary; perhaps the documents only contain stop words

我在这里通读了SO问题：使用TfidfVectorizer scikit-learn的自定义词汇表的问题，并尝试了ogrisel的建议，即使用TfidfVectorizer（**params）.build_analyzer（）（dataset2）来检查文本分析步骤的结果，这似乎按预期工作：下面的代码片段：

In [68]: TfidfVectorizer().build_analyzer()(smallcorp)
Out[68]: 
[u'due',
 u'to',
 u'lack',
 u'of',
 u'personal',
 u'biggest',
 u'education',
 u'and',
 u'husband',
 u'to',

我还有什么

做错事吗？ 我喂它的语料库只是一根巨大的长弦，上面穿插着换行符。

谢谢！

Answer 1

我想这是因为你只有一个字符串。尝试将其拆分为字符串列表，例如：

In [51]: smallcorp
Out[51]: 'Ah! Now I have done Philosophy,nI have finished Law and Medicine,nAnd sadly even Theology:nTaken fierce pains, from end to end.nNow here I am, a fool for sure!nNo wiser than I was before:'
In [52]: tf = TfidfVectorizer()
In [53]: tf.fit_transform(smallcorp.split('n'))
Out[53]: 
<6x28 sparse matrix of type '<type 'numpy.float64'>'
    with 31 stored elements in Compressed Sparse Row format>

Answer 2

在 0.12 版本中，我们将最小文档频率设置为 2，这意味着仅考虑至少出现两次的单词。要使示例正常工作，您需要设置 min_df=1 。从 0.13 开始，这是默认设置。所以我猜你使用的是 0.12，对吧？

Answer 3

或者，

如果您坚持只有一个字符串，也可以将单个字符串作为元组。而不是拥有：

smallcorp = "your text"

你宁愿把它放在一个元组中。

In [22]: smallcorp = ("your text",)
In [23]: tf.fit_transform(smallcorp)
Out[23]: 
<1x2 sparse matrix of type '<type 'numpy.float64'>'
    with 2 stored elements in Compressed Sparse Row format>

Answer 4

我也有同样的问题。将 int（nums） 列表转换为 str（nums） 列表没有帮助。但我转换为：

['d'+str(nums) for nums in set] #where d is some letter which mention, we work with strings

这很有帮助。