Scikit SGDClassifier使用字母而不是单词作为特征

Question

我正在尝试按照本教程使用 SGDClassifier 对短语进行分类

我的管道如下所示：

p_clf = Pipeline([('vect', CountVectorizer(analyzer='word', ngram_range=(1, 2),
                                  token_pattern=r'bw+b', min_df=1)),
                  ('tfidf', TfidfTransformer()),
                  ('clf', SGDClassifier(loss='log', penalty='l2',
                                        alpha=1e-3, n_iter=5, random_state=42)), ])

即使我得到了正确的分类，我也不明白为什么它将字母视为特征而不是整个单词。在这个例子中，当我调用predict_proba('Hello')时，我得到：

[[ 0.15889614  0.23752053  0.4353584   0.16822494]
 [ 0.15889614  0.23752053  0.4353584   0.16822494]
 [ 0.15889614  0.23752053  0.4353584   0.16822494]
 [ 0.15889614  0.23752053  0.4353584   0.16822494]
 [ 0.11579265  0.19786962  0.36811551  0.31822223]]

其中每一行都是一个字母，列是我的类。不应该只是一行吗？

Answer 1

在您

的情况下，'Hello'被解释为字符数组，例如['H','e','l','l','o']。（请记住，predict_proba需要一个数组或稀疏矩阵作为输入。这可以通过将字符串放在列表中来解决：

predict_proba(['Hello'])