如何在线性svc中强制选择至少一个标签



我正在做一个多标签分类。我在一个数据集上进行了训练,并得到了建议标签。然而,并不是所有的都至少有一个标签。我遇到了这个在邮件列表中讨论过的问题。似乎有关于添加一个参数来强制选择最小数量标签的讨论,然而,在查看文档时,我没有看到它被实现过。我不太明白这个建议的hack。在所有的学习都完成之后,就没有办法做到这一点了吗?

代码的学习部分:

lb = preprocessing.MultiLabelBinarizer()
Y = lb.fit_transform(y_train_text)
classifier = Pipeline([
    ('vectorizer', CountVectorizer(stop_words="english")),
    ('tfidf', TfidfTransformer()),
    ('clf', OneVsRestClassifier(LinearSVC()))])
classifier.fit(X_train, Y)
predicted = classifier.predict(X_test)
all_labels = lb.inverse_transform(predicted)

感谢"lejlot",这是非常接近我想要的。不过,我不想推翻我有一个或多个预测的情况。这是我想到的,似乎是工作:

lb = preprocessing.MultiLabelBinarizer()
Y = lb.fit_transform(y_train_text)
classifier = Pipeline([
    ('vectorizer', CountVectorizer(stop_words="english")),
    ('tfidf', TfidfTransformer()),
    ('clf', OneVsRestClassifier(LinearSVC()))])
classifier.fit(X_train, Y)
predicted = classifier.predict(X_test)
x = classifier.decision_function(X_test)
predicted_all = sp.sign(x - x.max(1).reshape(x.shape[0], 1) + 1e-20)
predicted_all = (predicted_all + 1)/2
for i in range(0, len(predicted)):
    #if we never came up with a prediction, use our "forced" single prediction
    if (all(v == 0 for v in predicted[i])):
        predicted[i] = predicted_all[i]
all_labels = lb.inverse_transform(predicted)

最新更新