Sklearn fbeta_score默认平均参数不适用于多类目标变量

Question

我想使用f2分数来评估我的模型，但有一个错误。

from sklearn.metrics import fbeta_score, make_scorer
ftwo_scorer = make_scorer(fbeta_score, beta=2) # beta=2

U可以看到，我使用fbeta_score和make_scorer来定义我的度量。但是，当我将此度量应用于fit时，出现了一个错误。

from sklearn.svm import SVC
from sklearn.model_selection import GridSearchCV
svc = SVC()
parameters = { 'C':[100,1000]}
#'gamma':[1e-5,1e-4,1e-3]}}
clf = GridSearchCV(svc, parameters, scoring=ftwo_scorer,cv=5)
clf.fit(Xtrain, Ytrain,)
Yval_pred = clf.predict(Xval)

错误消息：

ValueError                                Traceback (most recent call last)
<ipython-input-600-ebf059724dd4> in <module>
4               #'gamma':[1e-5,1e-4,1e-3]}
5 clf = GridSearchCV(svc, parameters, scoring=ftwo_scorer,cv=5)
----> 6 clf.fit(Xtrain, Ytrain)
7 Yval_pred = clf.predict(Xval)
……
ValueError: Target is multiclass but average='binary'. Please choose
another average setting, one of [None, 'micro', 'macro', 'weighted'].

你能帮我吗？

Answer 1

发生这种情况是因为目标变量Y可能有两个以上的类。默认情况下，fbeta_score将平均值设置为二进制目标。

因此，正如错误建议的那样，将这些选项[None, 'micro', 'macro', 'weighted']的不同average值传递给make_scorer函数，即

from sklearn.metrics import fbeta_score, make_scorer

ftwo_scorer = make_scorer(fbeta_score, beta=2, average='weighted')