我使用TfIdfVectorizer和MultinomialNB来训练我的模型，并将其保存到pickle文件中。
现在我试图使用来自另一个文件的分类器来预测看不见的数据，我不能这样做，因为它告诉我分类器的特征数量与我当前语料库的特征数量不相同。
这是我试图预测的代码。函数do_vectorize与训练中使用的完全相同。
def do_vectorize(data, stop_words=[], tokenizer_fn=tokenize):
vectorizer = TfidfVectorizer(stop_words=stop_words, tokenizer=tokenizer_fn)
X = vectorizer.fit_transform(data)
return X, vectorizer
# Vectorizing the unseen documents
matrix, vectorizer = do_vectorize(corpus, stop_words=stop_words)
# Predicting on the trained model
clf = pickle.load(open('../data/classifier_0.5_function.pkl', 'rb'))
predictions = clf.predict(matrix)
然而，我收到的错误是特征的数量不同
ValueError: Expected input with 65264 features, got 472546 instead
这意味着我还必须从训练中节省词汇量以进行测试?如果有培训中不存在的条款怎么办?
我尝试使用scikit-learn中的管道，具有相同的矢量器和分类器，并且两者的参数相同。但是，从1个小时变成6个多小时太慢了，所以我更喜欢手动操作。
这意味着我还必须从训练中节省词汇量以进行测试?
是的，你必须保存整个tfidf矢量器，这特别意味着保存词汇。
如果有培训中不存在的术语会发生什么?
它们将被忽略，这是完全有意义的，因为您没有关于此的训练数据，因此没有什么需要考虑的(有更复杂的方法仍然可以使用它，但它们不使用像tfidf这样简单的方法)。
我尝试使用scikit-learn中的管道，具有相同的矢量器和分类器，并且两者的参数相同。但是，从1个小时转到6个多小时太慢了，所以我更喜欢手动操作。
在使用管道时应该很少甚至没有开销，但是只要您还记得存储矢量器，手动操作也是可以的。
您必须在使用tfidf矢量器时分配最大特征限制这样的
tfidf_vectorizer = TfidfVectorizer(max_features = 1200)
，然后使用相同的功能限制将测试数据转换为