如何使用 Sk-learn 提高 SVM 分类器的速度

Question

我正在尝试构建垃圾邮件分类器，并且我从互联网上收集了多个数据集（例如。垃圾邮件/业余邮件的垃圾邮件刺客数据库）并建立了这个：

import os
import numpy
from pandas import DataFrame
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.pipeline import Pipeline
from sklearn.cross_validation import KFold
from sklearn.metrics import confusion_matrix, f1_score
from sklearn import svm
NEWLINE = 'n'
HAM = 'ham'
SPAM = 'spam'
SOURCES = [
    ('C:/data/spam', SPAM),
    ('C:/data/easy_ham', HAM),
    # ('C:/data/hard_ham', HAM), Commented out, since they take too long
    # ('C:/data/beck-s', HAM),
    # ('C:/data/farmer-d', HAM),
    # ('C:/data/kaminski-v', HAM),
    # ('C:/data/kitchen-l', HAM),
    # ('C:/data/lokay-m', HAM),
    # ('C:/data/williams-w3', HAM),
    # ('C:/data/BG', SPAM),
    # ('C:/data/GP', SPAM),
    # ('C:/data/SH', SPAM)
]
SKIP_FILES = {'cmds'}

def read_files(path):
    for root, dir_names, file_names in os.walk(path):
        for path in dir_names:
            read_files(os.path.join(root, path))
        for file_name in file_names:
            if file_name not in SKIP_FILES:
                file_path = os.path.join(root, file_name)
                if os.path.isfile(file_path):
                    past_header, lines = False, []
                    f = open(file_path, encoding="latin-1")
                    for line in f:
                        if past_header:
                            lines.append(line)
                        elif line == NEWLINE:
                            past_header = True
                    f.close()
                    content = NEWLINE.join(lines)
                    yield file_path, content

def build_data_frame(path, classification):
    rows = []
    index = []
    for file_name, text in read_files(path):
        rows.append({'text': text, 'class': classification})
        index.append(file_name)
    data_frame = DataFrame(rows, index=index)
    return data_frame

data = DataFrame({'text': [], 'class': []})
for path, classification in SOURCES:
    data = data.append(build_data_frame(path, classification))
data = data.reindex(numpy.random.permutation(data.index))
pipeline = Pipeline([
    ('count_vectorizer', CountVectorizer(ngram_range=(1, 2))),
    ('classifier', svm.SVC(gamma=0.001, C=100))
])
k_fold = KFold(n=len(data), n_folds=6)
scores = []
confusion = numpy.array([[0, 0], [0, 0]])
for train_indices, test_indices in k_fold:
    train_text = data.iloc[train_indices]['text'].values
    train_y = data.iloc[train_indices]['class'].values.astype(str)
    test_text = data.iloc[test_indices]['text'].values
    test_y = data.iloc[test_indices]['class'].values.astype(str)
    pipeline.fit(train_text, train_y)
    predictions = pipeline.predict(test_text)
    confusion += confusion_matrix(test_y, predictions)
    score = f1_score(test_y, predictions, pos_label=SPAM)
    scores.append(score)
print('Total emails classified:', len(data))
print('Support Vector Machine Output : ')
print('Score:' + str((sum(scores) / len(scores))*100) + '%')
print('Confusion matrix:')
print(confusion)

我注释掉的

行是邮件的集合，即使我注释掉大多数数据集并选择邮件量最少的数据集，它仍然运行得非常慢（~15分钟），并提供大约 91% 的准确率。如何提高速度和准确性？

Answer 1

您正在使用内核 SVM。这有两个问题。

内核 SVM 的运行时复杂性：执行内核 SVM 的第一步是构建相似性矩阵，该矩阵成为特征集。对于 30,000 个文档，相似性矩阵中的元素数变为 90,000,000。随着语料库的增长，这会增加，因为矩阵会增加语料库中文档数量的平方。这个问题可以在scikit-learn中使用RBFSampler来解决，但出于下一个原因，您可能不想使用它。

维度：您使用项和双字母计数作为特征集。这是一个极高的维数据集。在高维空间中使用 RBF 内核，即使是很小的差异（噪声）也会对相似性结果产生很大的影响。看到维度的诅咒。这可能就是为什么你的 RBF 内核产生的结果比线性内核更差的原因。

随机梯度下降：可以使用 SGD 代替标准 SVM，并且通过良好的参数调整，它可能会产生类似甚至更好的结果。缺点是SGD在学习率和学习率时间表方面有更多的参数需要调整。此外，对于少数通过，SGD 并不理想。在这种情况下，其他算法，如跟随正则化领导者（FTRL）会做得更好。不过，Scikit-learn并没有实现FTRL。 将 SGDClassifier 与loss="modified_huber"一起使用通常效果很好。

现在我们已经解决了问题，有几种方法可以提高性能：

tf-idf 权重：使用 tf-idf，更常见的单词权重越小。这允许分类器更好地表示更有意义的生僻词。这可以通过CountVectorizer切换到TfidfVectorizer来实现

。

参数调优：使用线性SVM时，没有gamma参数，但可以使用C参数来大大提高结果。在SGDClassifier的情况下，alpha 和学习率参数也可以调整。

集成：在多个子样本上运行模型并对结果求平均值通常会生成比单个运行更可靠的模型。这可以在scikit-learn中使用BaggingClassifier完成。此外，结合不同的方法可以产生明显更好的结果。如果使用了实质上不同的方法，请考虑使用具有树模型（RandomForestClassifier 或 GradientBoostingClassifier）的堆叠模型作为最后阶段。