Scikit-learn tfidftransformer产生错误的结果

Question

我使用scikit-learn的Tfidf转换器得到了"奇怪"的结果。通常，我希望在语料库中的所有文档中出现的单词具有等于0的idf(不使用任何平滑或规范化)，因为我将使用的公式是语料库中文档数量的对数除以包含该术语的文档数量。显然(如下所示)，与我的手动实现相比，scikit-learn的实现为每个idf值增加了1。有人知道为什么吗?再次注意，我已经将平滑和规范化设置为None/False。

In [101]: from sklearn.feature_extraction.text import TfidfTransformer
In [102]: counts
Out[102]: 
array([[3, 0, 1],
       [2, 0, 0],
       [3, 0, 0],
       [4, 0, 0],
       [3, 2, 0],
       [3, 0, 2]])
In [103]: transformer = TfidfTransformer(norm=None, smooth_idf=False)
In [104]: transformer
Out[104]: 
TfidfTransformer(norm=None, smooth_idf=False, sublinear_tf=False,
         use_idf=True)
In [105]: tfidf = transformer.fit_transform(counts)
In [106]: tfidf.toarray()
Out[106]: 
array([[ 3.        ,  0.        ,  2.09861229],
       [ 2.        ,  0.        ,  0.        ],
       [ 3.        ,  0.        ,  0.        ],
       [ 4.        ,  0.        ,  0.        ],
       [ 3.        ,  5.58351894,  0.        ],
       [ 3.        ,  0.        ,  4.19722458]])
In [107]: transformer.idf_
Out[107]: array([ 1.        ,  2.79175947,  2.09861229])
In [108]: idf1 = np.log(6/6)
In [109]: idf1
Out[109]: 0.0
In [110]: idf2 = np.log(6/1)
In [111]: idf2
Out[111]: 1.791759469228055
In [112]: idf3 = np.log(6/2)
In [113]: idf3
Out[113]: 1.0986122886681098

我无法找到任何证明向idf值添加1的来源。我正在使用scikit-learn版本'0.14.1'。

顺便说一句，scikit-learn之外的另一个解决方案对我来说并不是很有用，因为我需要为gridsearch构建一个scikit-learn管道。

Answer 1

这不是一个bug，这是一个特性

# log1p instead of log makes sure terms with zero idf don't get
# suppressed entirely
idf = np.log(float(n_samples) / df) + 1.0

这个+1(如评论中提到的)用于使idf规范化更弱，否则，所有文档中出现的元素都被完全删除(它们的idf=0因此整个tfidf=0)