使用scikit-learn进行文本文档分类的交叉验证

Question

在使用scikit-learn对文本文档进行分类时，您是先进行交叉验证，然后进行特征提取还是其他方式?

下面是我的管道:

union = FeatureUnion(
transformer_list = [
 ('tfidf', TfidfVectorizer()),
 ('featureEx', FeatureExtractor()),
 ('spell_chker', Spellingchecker()),
 ], n_jobs = -1)

我以以下方式进行，但我想知道是否应该先提取特征并进行交叉验证。在本例中，X是文档列表，y是标签。

X_train, X_test, y_train, y_test = train_test_split(X,y,test_size= 0.2)
X_train = union.fit_transform(X_train)
X_test = union.transform(X_test)
ch2 = SelectKBest(f_classif, k = 7000)
X_train = ch2.fit_transform(X_train, y_train)
X_test  = ch2.transform(X_test)
clf = SVC(C=1, gamma=0.001, kernel = 'linear', probability=True).fit(
X_train , y_train)
print("classification report:")
y_true, y_pred = y_test, clf.predict(X_test)
print(classification_report(y_true, y_pred))
print()

Answer 1

进行特征选择，然后对这些特征进行交叉验证有时在文本数据上很常见，但这是不太可取的。这可能会导致过度拟合，交叉验证过程可能会高估您的真实准确性。

当你首先进行特征选择时，特征选择过程必须查看所有数据。交叉验证的重点是隐藏1倍。通过先执行FS，您将一些数据知识泄露给其他折叠。