如何计算多标签分类的 F1 分数

Question

我尝试计算f1_score但是当我使用 sklearn f1_score 方法时，在某些情况下我会收到一些警告。

我有一个用于预测的多标签 5 类问题。

import numpy as np
from sklearn.metrics import f1_score
y_true = np.zeros((1,5))
y_true[0,0] = 1 # => label = [[1, 0, 0, 0, 0]]
y_pred = np.zeros((1,5))
y_pred[:] = 1 # => prediction = [[1, 1, 1, 1, 1]]
result_1 = f1_score(y_true=y_true, y_pred=y_pred, labels=None, average="weighted")
print(result_1) # prints 1.0
result_2 = f1_score(y_true=y_ture, y_pred=y_pred, labels=None, average="weighted")
print(result_2) # prints: (1.0, 1.0, 1.0, None) for precision/recall/fbeta_score/support

当我使用 average="samples" 而不是 "weighted" 时，我得到（0.1、1.0、0.1818...，无）。"weighted"选项对于多标签问题没有用，还是如何正确使用 f1_score 方法？

使用average="weighted"时我也会收到警告：

"UndefinedMetricWarning：召回率和F分数定义不明确，在没有真实样本的标签中设置为0.0。

Answer 1

如果您稍微加起来数据，它会起作用：

y_true = np.array([[1,0,0,0], [1,1,0,0], [1,1,1,1]])
y_pred = np.array([[1,0,0,0], [1,1,1,0], [1,1,1,1]])
recall_score(y_true=y_true, y_pred=y_pred, average='weighted')
>>> 1.0
precision_score(y_true=y_true, y_pred=y_pred, average='weighted')
>>> 0.9285714285714286
f1_score(y_true=y_true, y_pred=y_pred, average='weighted')
>>> 0.95238095238095244

数据表明我们没有错过任何真阳性，也没有预测任何假阴性（recall_score等于1）。但是，我们在第二个观察中预测了一个误报，导致precision_score等于~0.93。

由于precision_score和recall_score在参数weighted都不为零，因此f1_score存在。我相信由于示例中缺乏信息，您的案例无效。