Python sklearn:fit_transform()不适用于GridSearchCV

Question

我正在创建一个GridSearchCV分类器作为

pipeline = Pipeline([
    ('vect', TfidfVectorizer(stop_words='english',sublinear_tf=True)),
    ('clf', LogisticRegression())
    ])
parameters= {}
gridSearchClassifier = GridSearchCV(pipeline, parameters, n_jobs=3, verbose=1, scoring='accuracy')
    # Fit/train the gridSearchClassifier on Training Set
    gridSearchClassifier.fit(Xtrain, ytrain)

这很有效，我可以预测。然而，现在我想重新训练分类器。为此，我想对一些反馈数据进行fit_transform()。

    gridSearchClassifier.fit_transform(Xnew, yNew)

但是我得到这个错误

AttributeError: 'GridSearchCV' object has no attribute 'fit_transform'

基本上我尝试在分类器的内部CCD_ 4上CCD_。我知道我可以使用named_steps属性访问Pipeline的内部组件。我能为gridSearchClassifier做一些类似的事情吗？

Answer 1

只需一步一步地调用它们。

gridSearchClassifier.fit(Xnew, yNew)
transformed = gridSearchClassifier.transform(Xnew)

fit_transform只不过是这两行代码，而不是作为GridSearchCV的单个方法来实现。

更新

从评论来看，你似乎有点迷失了GridSearchCV的实际功能。这是一种元方法，用于拟合具有多个超参数的模型。因此，一旦调用fit，就会在对象的best_estimator_字段中得到一个估计器。在你的情况下，它是一个管道，你可以像往常一样提取它的任何部分，因此

gridSearchClassifier.fit(Xtrain, ytrain)
clf = gridSearchClassifier.best_estimator_
# do something with clf, its elements etc. 
# for example print clf.named_steps['vect']

您应该而不是使用gridsearchcv作为分类器，这只是一种拟合超参数的方法，一旦找到它们，就应该使用best_estimator_。但是，请记住，如果您重新安装TFIDF矢量器，那么您的分类器将毫无用处；你不能改变数据表示并期望旧模型能很好地工作，一旦你的数据改变，你必须重新调整整个分类器（除非这是精心设计的改变，并且你确保旧维度的含义完全相同-sklearn不支持这样的操作，你必须从头开始实现）。

Answer 2

@lejot认为应该在gridSearchClassifier上调用fit()是正确的。

如果在默认的GridSearchCV上设置了refit=True，则可以在安装的gridSearchClassifier上访问best_estimator_。

您可以访问已安装的步骤：

tfidf = gridSearchClassifier.best_estimator_.named_steps['vect']
clf = gridSearchClassifier.best_estimator_.named_steps['clf']

然后，您可以使用：在new_X中转换新文本

X_vec = tfidf.transform(new_X)

您可以使用此X_vec与进行预测

x_pred = clf.predict(X_vec)

您还可以对通过整个管道的文本进行预测。

X_pred = gridSearchClassifier.predict(new_X)