机器学习 - 聚合精度和召回率的实际重要性是什么?



我正在为推荐系统研究电影镜头 100K 电影数据。我将数据分为测试和训练,并计算精度和召回率。在测试中,有超过 10K 个用户是随机选择的。我能够找到单个用户的精度和召回率。

我想知道:汇总精度和召回率有什么实际意义吗?

您将看到学术论文中报告的精度/召回率结果为汇总,而不是 10,000 个不同的 P/R 结果。在这方面,它使读者对RS性能有一个非常普遍的了解。通常,您会看到精度/召回率表示为曲线(如此处所示:http://www.cs.washington.edu/ai/mln/images/image001.png)。您往往会看到,在召回率 = 1 时,精度较低,而在精度 = 1 时,召回率较低。您可以在 Excel 或 Google 表格中从 10,000 个结果中轻松创建这些曲线之一。

如评论中所述,F-measure是一种组合P/R以生成平均值的方法,尽管在"吹嘘"F度量之前,您需要了解F度量的局限性。根据您的应用领域,证明精度或召回率的某种权重是合理的,这种情况并不少见,因此请注意,基本的 F 度量是平衡的(精度和召回率被视为同等重要)。

接收器操作员特征 (https://en.wikipedia.org/wiki/Receiver_operating_characteristic) 也常用于侧面 P/R 曲线,并在推荐系统评估中测量 f-measure。如果您正在寻找额外的学分,那么我建议您使用多种方法来评估 RS 性能,例如 P/R 曲线、F 测量、AUC 和 ROC。

最新更新