sklearn-对一个子类进行精确评分的交叉验证

Question

我有一个用于分类的数据集，其中有3个类标签[0,1,2]。

我想运行交叉验证并尝试几个估计量，但我感兴趣的是仅以类1和类2的精度进行评分。我不在乎0类的精度，也不希望它的评分影响CV优化。我也不在乎任何课程的回忆。换句话说，我想确保无论何时预测1或2，都是非常有信心的。

所以问题是，我如何运行cross_val_score并告诉它的评分函数忽略类0的精度？

UPDATE：下面是一个根据公认答案的答案代码示例：

def custom_precision_score(y_true,y_pred):
precision_tuple, recall_tuple, fscore_tuple, support_tuple = metrics.precision_recall_fscore_support(y_true, y_pred)
precision_tuple = precision_tuple[1:]
support_tuple = support_tuple[1:]
weighted_precision = np.average(precision_tuple, weights=support_tuple)
return weighted_precision
custom_scorer = metrics.make_scorer(custom_precision_score)
scores = cross_validation.cross_val_score(clf, featuresArray, targetArray, cv=10, scoring=custom_scorer)

Answer 1

cross_val_score包含一个可调用的记分器对象，该对象可以使用make_scorer使用您自己的测试策略进行设置。你可以在make_scorer调用的自定义评分函数score_func(y, y_pred, **kwargs)中设置你要测试的组。