使用从 sklearn 管道中的索引提取子管道时出错

Question

我有一个机器学习管道--

logreg = Pipeline([('vect', CountVectorizer(ngram_range=(1,1))),
('tfidf', TfidfTransformer(sublinear_tf=True, use_idf=True)),
('clf', LogisticRegression(n_jobs=-1, C=1e2, multi_class='ovr', 
solver='lbfgs', max_iter=1000))])
logreg.fit(X_train, y_train)

我想从管道的前两个步骤中提取特征矩阵。因此，我尝试在原始管道中使用前两个步骤提取子管道。以下代码给出错误：

logreg[:-1].fit(X)

类型错误："管道"对象没有属性">getitem">

如何在不构建用于数据转换的新管道的情况下提取Pipeline的前两个步骤？

Answer 1

我只想执行可以在运行时创建管道的部分步骤。

partial_pipe = Pipeline(logreg.steps[:-1])
partial_pipe.fit(data)

piple的步骤将在管道对象的变量steps可用。

Answer 2

我认为您使用的是旧版本的sklearn。使用版本>=0.21.3，使用您所做的方式对管道进行索引应该是可能的。

您可以在此处查看发行说明

例：

from sklearn.linear_model import LogisticRegression
from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer
from sklearn.datasets import fetch_20newsgroups
from sklearn.pipeline import Pipeline
from sklearn.model_selection import train_test_split
categories = ['alt.atheism', 'talk.religion.misc']
newsgroups_train = fetch_20newsgroups(subset='train',
categories=categories)
X, y = newsgroups_train.data, newsgroups_train.target
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.3, stratify=y)

logreg = Pipeline([('vect', CountVectorizer(ngram_range=(1, 1))),
('tfidf', TfidfTransformer(sublinear_tf=True, use_idf=True)),
('clf', LogisticRegression(n_jobs=-1, C=1e2,
multi_class='ovr',
solver='lbfgs', max_iter=1000))])
logreg.fit(X_train, y_train)

logreg[:-1].fit_transform(X_train)
# <599x15479 sparse matrix of type '<class 'numpy.float64'>'
#   with 107539 stored elements in Compressed Sparse Row format>