如何使用scikit-learn中的tfidf计算函数

Question

我想使用scikit-learn的TfidfVectorizer和相关函数来执行文档分类，但我对它的使用有点困惑(我搜索过的其他问题都没有涉及正确的数据格式(。

目前，我的训练数据按以下方式组织：

1. 从语料库获取单个文本。
2. Normalize， tokenize (using nltk PunktWordTokenizer(， stem (using nltk SnowballStemmer(
3. 过滤掉剩余的低长度和低出现次数的单词
4. 标记相应的文本

完成上述操作后，单个文本如下所示(此处的值是随机的，但对应于每个术语的出现次数/次数(：

text = ({"has": 5.0, "love": 12.0, ...}, "Relationships")

而完整的语料库在最后看起来像这样：

corpus = [({"has": 5.0, "love": 12.0, ...}, "Relationships"),
          ({"game": 9, "play": 9.0, ...}, "Games"),
          ...,
         ]

如何将这些数据输入TfidfVectorizer()？我是否必须只提供上面的内容(作为字典？作为列表？(，或者只提供没有计数的内容？何时提供标签？如果需要，我不介意完全重构我的数据。

不幸的是，有关此特定函数的文档在格式化方面的示例有点稀疏。

Answer 1

这就是您使用TfidfVectorizer的方式(查看此处以获取更多详细信息(

>>> from sklearn.feature_extraction.text import TfidfVectorizer
>>> corpus = ['This is the first document.',
              'This is the second second document.',
              'And the third one.',
              'Is this the first document?']
>>> vect = TfidfVectorizer()
>>> X = vect.fit_transform(corpus)
>>> X.todense()
matrix([[ 0.        ,  0.43877674,  0.54197657,  0.43877674,  0.        ,
          0.        ,  0.35872874,  0.        ,  0.43877674],
        [ 0.        ,  0.27230147,  0.        ,  0.27230147,  0.        ,
          0.85322574,  0.22262429,  0.        ,  0.27230147],
        [ 0.55280532,  0.        ,  0.        ,  0.        ,  0.55280532,
          0.        ,  0.28847675,  0.55280532,  0.        ],
        [ 0.        ,  0.43877674,  0.54197657,  0.43877674,  0.        ,
          0.        ,  0.35872874,  0.        ,  0.43877674]])

这是文本语料库的数字表示形式。现在，为了拟合将文档映射到标签的模型，首先将它们放在目标变量中，标签的长度应与语料库中的文档数量相匹配：

>>> y = ['Relationships', 'Games', ...]

现在，您可以适合任何模型，例如：

>>> from sklearn.linear_model import SGDClassifier
>>> model = SGDClassifier()
>>> model.fit(X, y)

现在，您有一个可以对新数据进行评估的拟合模型。要预测，请对新的语料库或文本重复相同的过程。请注意，我使用的是与以前相同的矢量化器vect：

X_pred = vect.transform(['My new document'])
y_pred = model.predict(X_pred)

如果要使用自定义分词器，请使用：

vect = TfidfVectorizer(tokenizer=your_custom_tokenizer_function)