交叉验证错误

Question

我试图估计nltk电影评论语料库的朴素贝叶斯分类的准确性。

from nltk.corpus import movie_reviews
import random
import nltk
from sklearn import cross_validation
from nltk.corpus import stopwords
import string
from nltk.classify import apply_features
def document_features(document):
    document_words = set(document)
    features = {}
    for word in unigrams:
        features['contains({})'.format(word)] = (word in document_words)
    return features
documents = [(list(movie_reviews.words(fileid)), category)
             for category in movie_reviews.categories()
             for fileid in movie_reviews.fileids(category)]
random.shuffle(documents)
stop = stopwords.words('english')
all_words = nltk.FreqDist(w.lower() for w in movie_reviews.words() if w.lower() not in stop and w.lower() not in string.punctuation)
unigrams = list(all_words)[:200]
featuresets = [(document_features(d), c) for (d,c) in documents]

我

正在尝试执行 10 倍的交叉验证，我从 sklearn 中举了一个例子。

training_set = nltk.classify.apply_features(featuresets, documents)
cv = cross_validation.KFold(len(training_set), n_folds=10, shuffle=True, random_state=None)
for traincv, testcv in cv:
    classifier = nltk.NaiveBayesClassifier.train(training_set[traincv[0]:traincv[len(traincv)-1]])
    result = nltk.classify.util.accuracy(classifier, training_set[testcv[0]:testcv[len(testcv)-1]])
    print 'Accuracy:', result

但是我得到一个错误

classifier = nltk.NaiveBayesClassifier.train(training_set[traincv[0]:traincv[len(traincv)-1]])

"列表"对象不可调用

知道我做错了什么吗？

Answer 1

实际错误在于这一行：

training_set = nltk.classify.apply_features(featuresets, documents)

featuresets是Python抱怨的列表。

从nltk.classify.apply_features的文档：

apply_features（feature_func， toks， labeled=none）

使用 LazyMap 类构造类似惰性列表 类似于 map(feature_func, toks) 的对象。 在 特别是，如果labeled=False，则返回类似列表 对象的值等于：

[feature_func(tok) for tok in toks]

如果labeled=True，则返回类似列表的对象的值 等于：

[(feature_func(tok), label) for (tok, label) in toks]

该函数的行为方式与map类似，该函数期望一个函数（特征提取器）作为第一个参数，该函数将应用于作为第二个参数传递的列表的每个元素（文档）。它返回一个 LazyMap，该按需应用函数以节省内存。

但是，您已将特征集列表传递给apply_features而不是特征提取器函数。因此，有两种可能的解决方案可以使事情按照您希望的方式工作：

1. 放弃training_set，改用featuresets。
2. 放弃featuresets并使用training_set = nltk.classify.apply_features(document_features, documents, True)（请注意第三个参数）。

我推荐第二个选项，因为它不会构造内存中所有文档的功能列表。