如何在 python 中计算一类 SVM 的 AUC

Question

我很难用python绘制OneClassSVM的AUC图（我正在使用sklearn，它会生成混淆矩阵，例如[[tp, fp],[fn,tn]]与fn=tn=0。

from sklearn.metrics import roc_curve, auc
fpr, tpr, thresholds = roc_curve(y_test, y_nb_predicted)
roc_auc = auc(fpr, tpr) # this generates ValueError[1]
print "Area under the ROC curve : %f" % roc_auc
plt.plot(fpr, tpr, label='ROC curve (area = %0.2f)' % roc_auc)

我想处理错误 [1] 并为OneClassSVM绘制AUC。

[1] ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

Answer 1

请看我对类似问题的回答。要点是：

• OneClassSVM 从根本上不支持将决策转换为概率分数，因此您无法将必要的分数传递到需要改变分数阈值的函数中，例如 ROC 或精确召回曲线和分数。

• 您可以通过计算输入数据中 OneClassSVM 决策函数的最大值来近似这种类型的分数，将其称为 MAX，然后通过计算y_score = MAX - decision_function(y)对给定观测值y的预测进行评分。

• 使用这些分数作为y_score传递给函数，例如 average_precision_score 等，这些函数将接受非阈值分数而不是概率。

最后，请记住，ROC 对 OneClassSVM 的

• 物理意义较小，特别是因为 OneClassSVM 适用于存在预期和巨大类不平衡（异常值与非异常值）的情况，并且 ROC 不会准确地对少量异常值的相对成功进行加权。

Answer 2

使用 predprobs 函数计算分数或概率/分数 如 auc（y_true， y_score 中要求的那样，问题是由于y_score。 您可以按照以下代码行所示进行转换。

# Classifier - Algorithm - SVM
# fit the training dataset on the classifier
SVM = svm.SVC(C=1.0, kernel='linear', degree=3, gamma='auto',probability=True)
SVM.fit(Train_X_Tfidf,Train_Y)
# predict the labels on validation dataset
predictions_SVM = SVM.predict(Test_X_Tfidf)
# Use accuracy_score function to get the accuracy
print("SVM Accuracy Score -> ",accuracy_score(predictions_SVM, Test_Y))
probs = SVM.predict_proba(Test_X_Tfidf)
preds = probs[:,1]
fpr, tpr, threshold = roc_curve(Test_Y, preds)
print("SVM Area under curve -> ",auc(fpr, tpr))

查看 accuracy_score 和 AUC（） 之间的区别，您需要预测分数。

共享编辑删除标志