使用Python的垃圾邮件过滤器

Question

我正在尝试使用python 2.7和scikit-learn制作一个简单的垃圾邮件过滤器。所以，我有一组训练字母和一组测试字母。首先，我想对训练集进行矢量化并使用它拟合逻辑回归，然后对测试集中的每个字母进行矢量化并将它们分别放入分类器中。

import codecs
import json
import os
from sklearn.feature_extraction.text import CountVectorizer
from sklearn import linear_model
def classify(mail, vectorizer, logreg):
    vect_mail = vectorizer.transform(mail)
    res = logreg.predict(vect_mail)
    return res
def make_output(test_dir, vectorizer, logreg):
   with codecs.open('test.txt', 'w', 'utf-8') as out:
       for f in os.listdir(test_dir):
           mail = json.load(open(os.path.join(test_dir, f)), 'utf-8')
           result = classify(mail['body'].encode('ascii','ignore'), vectorizer, logreg)
           out.write(u'%st%sn' % (f, result))
def read_train(train_dir):
    for f in os.listdir(train_dir):
        with open(os.path.join(train_dir, f), 'r') as fo:
            mail = json.load(fo, 'utf-8')
            yield mail
if __name__ == '__main__':
    train_mails = list(read_train('spam_data/train'))
    corpus = list()
    is_spam = list()
    for mail in train_mails:
        corpus.append(mail['body'].encode('ascii','ignore'))
        is_spam.append(mail['is_spam'])
    vectorizer = CountVectorizer()
    cnt_vect = vectorizer.fit_transform(corpus)
    logreg = linear_model.LogisticRegression()
    logreg.fit(cnt_vect, is_spam)
    make_output('spam_data/test', vectorizer, logreg)

但是res = logreg.predict(vect_mail)返回一个列表，而不是一个含义。所以，我想，预测器vect_mail解释为一个单词的文档样本，而不是像一个包含多个单词的文档。我应该如何重写此代码？

Answer 1

根据 sklearn 的文档，CountVectorizer.transform 接受的不是单个文档进行转换，而是文档的可迭代对象。由于 Python 中的字符串是其字符的可迭代对象，因此transform生成的"文档"与字符串中的字符数量一样多。

要解决此问题，请将单元素列表传递给transform：

vect_mail = vectorizer.transform([mail])