sklearn 估算器管道的参数无效

Question

我正在使用Python 2.7和sklearn 0.16实现O'Reilly书"使用Python的机器学习简介"中的一个例子。

我正在使用的代码：

pipe = make_pipeline(TfidfVectorizer(), LogisticRegression())
param_grid = {"logisticregression_C": [0.001, 0.01, 0.1, 1, 10, 100], "tfidfvectorizer_ngram_range": [(1,1), (1,2), (1,3)]}
grid = GridSearchCV(pipe, param_grid, cv=5)
grid.fit(X_train, y_train)
print("Best cross-validation score: {:.2f}".format(grid.best_score_))

返回的错误归结为：

ValueError: Invalid parameter logisticregression_C for estimator Pipeline

这是与使用 v.0.16 中的Make_pipeline相关的错误吗？导致此错误的原因是什么？

Answer 1

估算器名称和管道中的参数之间应该有两个下划线 logisticregression__C .对tfidfvectorizer执行相同的操作

用户指南中提到了它：https://scikit-learn.org/stable/modules/compose.html#nested-parameters。

请参阅 https://scikit-learn.org/stable/auto_examples/compose/plot_compare_reduction.html#sphx-glr-auto-examples-compose-plot-compare-reduction-py 中的示例

Answer 2

对于在

GridSearchCV中使用Pipeline的更一般答案，模型的参数网格应以定义管道时指定的任何名称开头。例如：

# Pay attention to the name of the second step, i. e. 'model'
pipeline = Pipeline(steps=[
     ('preprocess', preprocess),
     ('model', Lasso())
])
# Define the parameter grid to be used in GridSearch
param_grid = {'model__alpha': np.arange(0, 1, 0.05)}
search = GridSearchCV(pipeline, param_grid)
search.fit(X_train, y_train)

在管道中，我们使用名称 model 作为估算器步骤。因此，在网格搜索中，套索回归的任何超参数都应以前缀 model__ 给出。网格中的参数取决于您在管道中指定的名称。在没有管道的普通GridSearchCV中，网格将如下所示：

param_grid = {'alpha': np.arange(0, 1, 0.05)}
search = GridSearchCV(Lasso(), param_grid)

你可以从这篇文章中找到更多关于GridSearch的信息。

Answer 3

请注意，如果使用带有投票分类器和列选择器的管道，则需要多层名称：

pipe1 = make_pipeline(ColumnSelector(cols=(0, 1)),
                      LogisticRegression())
pipe2 = make_pipeline(ColumnSelector(cols=(1, 2, 3)),
                      SVC())
votingClassifier = VotingClassifier(estimators=[
        ('p1', pipe1), ('p2', pipe2)])

您将需要一个如下所示的参数网格：

param_grid = { 
        'p2__svc__kernel': ['rbf', 'poly'],
        'p2__svc__gamma': ['scale', 'auto'],
    }

p2 是管道的名称，svc是在管道中创建的分类器的默认名称。第三个元素是要修改的参数。

Answer 4

您始终可以使用 model.get_params().keys()[ [ 如果您只使用模型] 或 pipeline.get_params().keys() [如果您正在使用管道] 来获取您可以调整的参数的键。