多标签和多类别数据标签的评估

Question

是否有可用于多类别多标签分类的评估指标？例如，我正在kaggle参加以下比赛，它需要ROC AUC作为评估指标http://www.kaggle.com/c/mlsp-2013-birds

使用sklearn可以做到这一点吗？

Answer 1

Kaggle的工程总监提供了这个库：https://github.com/benhamner/Metrics/tree/master/Python

Answer 2

截至2021年，sklearn.metrics包括几个可用于评估多类多标签分类模型的函数。例如，accuracy_score可以计算正确（即，所有预测的标签都是正确的）预测的分数。hamming_loss函数可以计算给定测试集中的Hamming损失，或错误预测的标签的分数。您可以在此处找到有关可用指标的深入讨论。