ML - 在功能选择后获取特征名称 - SelectPercentile,python



我已经为此苦苦挣扎了一段时间。我的目标是利用我拥有的文本功能,并在其中找到最好的 5-10 个单词来帮助我分类。因此,我正在运行一个 TfIdfVectorizer,并选择 ~90 目前最好的。但是,在我缩小功能量后,我无法看到实际选择了哪些功能。

这是我所拥有的:

import pandas
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_selection import SelectPercentile, f_classif
train=pandas.read_csv("train.tsv", sep='t')
labels_train = train["label"]
documents = []
for i, row in train.iterrows():
    documents.append((row['boilerplate'][1:-1].lower()))
vectorizer = TfidfVectorizer(sublinear_tf=True, stop_words="english")
features_train_transformed = vectorizer.fit_transform(documents)
selector = SelectPercentile(f_classif, percentile=0.1)
selector.fit(features_train_transformed, labels_train)
features_train_transformed = selector.transform(features_train_transformed).toarray()

结果是features_train_transformed包含所选单词的每个文档每个单词的所有tfidf分数的矩阵,但是我不知道选择了哪些单词,并且像"get_feature_names()"这样的方法不适用于类SelectPercentile。

这是必要的,因为我需要将这些功能添加到一堆数字特征中,然后才进行训练和预测。

  • selector.get_support() 为您提供指定百分位数范围内的列的布尔数组
  • train.columns.values 应该会获取原始数据帧的完整列名列表
  • 使用前者筛选后者应为您提供构成所选百分位范围的列的名称。

下面的代码(从工作代码剪切粘贴)与您的代码非常相似,希望对您有所帮助

import numpy as np
selection = SelectPercentile(f_regression, percentile=2)
train_minus_target = train.drop("y", axis=1)
x_features = selection.fit_transform(train_minus_target, y_train)
columns = np.asarray(train_minus_target.columns.values)
support = np.asarray(selection.get_support())
columns_with_support = columns[support]

参考:
关于get_support

相关内容

  • 没有找到相关文章

最新更新