使用scikit中的Featureunion学习将tfidf的两个panda列组合起来

Question

在将其用作垃圾邮件分类的模型时，我想添加Subject和正文的附加功能。

我的所有功能都在pandas数据帧中。例如，主题是df['subject']，正文是df['sbody_text']，spam/ham标签是df['dham/spam']

我收到以下错误：TypeError:"FeatureUnion"对象不是可迭代的

如何在管道函数中同时使用df['Subject']和df['body_text']作为功能？

from sklearn.pipeline import FeatureUnion
features = df[['Subject', 'body_text']].values
combined_2 = FeatureUnion(list(features))
pipeline = Pipeline([
('count_vectorizer',  CountVectorizer(ngram_range=(1, 2))),
('tfidf_transformer',  TfidfTransformer()),
('classifier',  MultinomialNB())])
pipeline.fit(combined_2, df['ham/spam'])
k_fold = KFold(n=len(df), n_folds=6)
scores = []
confusion = numpy.array([[0, 0], [0, 0]])
for train_indices, test_indices in k_fold:
    train_text = combined_2.iloc[train_indices]
    train_y = df.iloc[test_indices]['ham/spam'].values
    test_text = combined_2.iloc[test_indices]
    test_y = df.iloc[test_indices]['ham/spam'].values
    pipeline.fit(train_text, train_y)
    predictions = pipeline.predict(test_text)
    prediction_prob = pipeline.predict_proba(test_text)
    confusion += confusion_matrix(test_y, predictions)
    score = f1_score(test_y, predictions, pos_label='spam')
    scores.append(score)

Answer 1

FeatureUnion不应该以这种方式使用。相反，它采用两个特征提取器/矢量器，并将它们应用于输入。它不会按照显示的方式在构造函数中获取数据。

CountVectorizer需要一个字符串序列。提供它的最简单方法是将字符串连接在一起。这将把两列中的两个文本都传递给同一个CountVectorizer。

combined_2 = df['Subject'] + ' '  + df['body_text']

另一种方法是在每列上分别运行CountVectorizer和可选的TfidfTransformer，然后对结果进行堆栈。

import scipy.sparse as sp
subject_vectorizer = CountVectorizer(...)
subject_vectors = subject_vectorizer.fit_transform(df['Subject'])
body_vectorizer = CountVectorizer(...)
body_vectors = body_vectorizer.fit_transform(df['body_text'])
combined_2 = sp.hstack([subject_vectors, body_vectors], format='csr')

第三种选择是实现您自己的转换器，该转换器将提取数据帧列。

class DataFrameColumnExtracter(TransformerMixin):
    def __init__(self, column):
        self.column = column
    def fit(self, X, y=None):
        return self
    def transform(self, X, y=None):
        return X[self.column]

在这种情况下，您可以在两个管道上使用FeatureUnion，每个管道都包含您的自定义转换器，然后使用CountVectorizer。

subj_pipe = make_pipeline(
       DataFrameColumnExtracter('Subject'), 
       CountVectorizer()
)
body_pipe = make_pipeline(
       DataFrameColumnExtracter('body_text'), 
       CountVectorizer()
)
feature_union = make_union(subj_pipe, body_pipe)

管道的这个特性联合将获取数据帧，每个管道将处理其列。它将从给定的两列中生成项计数矩阵的级联。

 sparse_matrix_of_counts = feature_union.fit_transform(df)

此功能联合也可以作为更大管道中的第一步添加。