我是否在 k 折叠cross_validation中使用相同的 Tfidf 词汇

Question

我正在根据TF-IDF向量空间模型进行文本分类，我只有不超过3000个样本。为了公平评估，我使用 5 倍交叉验证来评估分类器。但让我困惑的是，是否有必要在每次折叠交叉验证中重建TF-IDF向量空间模型。也就是说，我是否需要重建词汇表并在每次折叠交叉验证中重新计算词汇表中的IDF值？

目前，我正在基于 scikit-learn 工具包进行 TF-IDF 变形，并使用 SVM 训练我的分类器。我的方法如下：首先，我将手头的样本除以3：1的比例，其中75%用于拟合TF-IDF向量空间模型的参数IDF。然后，我将转换此TF-IDFSVM中的其余部分，并使用这些向量进行 5 倍交叉验证(值得注意的是，我不使用前面的 75% 样本进行转换)。

我的代码如下：

# train, test split, the train data is just for TfidfVectorizer() fit
x_train, x_test, y_train, y_test = train_test_split(data_x, data_y, train_size=0.75, random_state=0)
tfidf = TfidfVectorizer()
tfidf.fit(x_train)
# vectorizer test data for 5-fold cross-validation
x_test = tfidf.transform(x_test)
scoring = ['accuracy']
clf = SVC(kernel='linear')
scores = cross_validate(clf, x_test, y_test, scoring=scoring, cv=5, return_train_score=False)
print(scores)

我的困惑是，我进行TF-IDF转换和进行 5 倍交叉验证的方法是否正确，或者是否有必要使用训练数据重建TF-IDF向量模型空间，然后使用训练和测试数据转换为TF-IDF向量？如下：

skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
for train_index, test_index in skf.split(data_x, data_y):
x_train, x_test = data_x[train_index], data_x[test_index]
y_train, y_test = data_y[train_index], data_y[test_index]
tfidf = TfidfVectorizer()
x_train = tfidf.fit_transform(x_train)
x_test = tfidf.transform(x_test)
clf = SVC(kernel='linear')
clf.fit(x_train, y_train)
y_pred = clf.predict(x_test)
score = accuracy_score(y_test, y_pred)
print(score)

Answer 1

您用于构建TfidfVectorizer()的StratifiedKFold方法是正确的方法，通过这样做，您可以确保仅基于训练数据集生成特征。

如果您考虑在整个数据集上构建TfidfVectorizer()，那么即使我们没有显式提供测试数据集，也会将测试数据集泄漏到模型。当包含测试文档时，词汇量大小、词汇中每个术语的 IDF 值等参数会有很大差异。

更简单的方法可能是使用管道和cross_validate。

用这个！

from sklearn.pipeline import make_pipeline
clf = make_pipeline(TfidfVectorizer(), svm.SVC(kernel='linear'))
scores = cross_validate(clf, data_x, data_y, scoring=['accuracy'], cv=5, return_train_score=False)
print(scores) 

注意：单独对测试数据进行cross_validate是没有用的。 我们必须对[train + validation]数据集进行操作。