什么时候精确度和召回率成反比?



我在读关于机器学习的精度和召回率的书。

问题1:准确率和召回率在什么情况下呈负相关?也就是说,什么时候会出现这样的情况:你可以提高准确率,但代价是降低召回率,反之亦然?维基百科的文章说:

通常,准确率和召回率之间存在反比关系,在什么情况下可以以减少的代价来增加一个其他。脑外科手术就是一个很明显的例子。

然而,我已经看到研究实验结果,精度和召回率同时提高(例如,当你使用不同或更多的特征时)。

在什么情况下反比关系成立?

问题2:我熟悉两个领域的准确率和召回率概念:信息检索(如;"从1MM页面语料库中返回100个最相关的页面")和二元分类(例如:"将这100名患者中的每一位划分为患病或不患病")。在这两个或其中一个领域中,准确率和召回率是负相关的吗?

只有当系统中有一些参数可以改变以获得更多/更少的结果时,反比关系才成立。这是一种直接的关系:你降低门槛以获得更多结果,其中有些是tp,有些是FPs。实际上,这并不总是意味着精度或召回率会同时上升和下降——真正的关系可以用ROC曲线来映射。对于第二题,同样地,在这两个任务中,准确率和召回率不一定是负相关的。

那么,如何在不影响对方的情况下提高查全率或查准率呢?通常,通过改进算法或模型。例如,当你只是改变给定模型的参数时,反比关系通常会成立,尽管你应该注意它通常也是非线性的。但是,如果您,例如,向模型添加更多描述性特征,您可以同时增加这两个度量。

关于第一个问题,我根据您的结果必须具有多大的限制性来解释这些概念

如果你有更多的限制,我的意思是,如果你对结果的正确性要求更高,你希望它更精确。为此,你可能愿意拒绝一些正确的结果,只要你得到的一切都是正确的。因此,你提高了准确度,降低了召回率。相反,如果你不介意得到一些错误的结果,只要你得到所有正确的,你就提高了召回率,降低了你的精度。

关于第二个问题,如果我从以上段落的角度来看,我可以说,是的,它们是负相关的。

据我所知,为了能够同时提高准确率和召回率,你要么需要一个更好的模型(更适合你的问题),要么需要更好的数据(或者两者都需要)。

最新更新