如何最好地处理图像分类中的"None of the above"?



这似乎是一个基本问题,你们中的一些人必须对此有意见。我在CNTK中实现了一个具有48个类的图像分类器。如果图像不太匹配48个类中的任何一个,那么我想得出的结论是,它不在这48种图像类型中。我最初的想法简单地说,如果最终SoftMax层的最高输出较低,我将能够得出结论,测试映像匹配良好。虽然我偶尔会看到这种情况发生,但在大多数测试中,SoftMax在递给"未知图像类型"时仍会产生很高(且错误的(结果。但是,也许我的网络"过度合适",如果不是,我的最初想法会很好。你怎么认为?有什么方法来定义一个名为"无兴趣"的第49个类?

您确实确实有这两个选项 - 阈值后验概率(SoftMax值(,并添加垃圾类。

在我所在的地区(语音(,这两种方法都是它们的位置:

如果"以上所有"输入的性质与"上面"(例如非语法输入(相同,则阈值良好。请注意,类的后验概率等于一个选择此类错误率的估计值。拒绝任何后部<50%的人将拒绝所有可能错误的案件,而不是正确。只要您的任何一个阶级的类别具有相似的性质,估计值也可能足够准确,可以使他们正确。

如果"以上所有"输入具有相似的性质,但是您的类数很少(例如10位数字(,或者输入的性质完全不同(例如,门的声音或某人咳嗽的声音(,阈值通常会失败。然后,一个人将训练"垃圾模型"。根据我们的经验,可以为正确的课程提供培训数据。现在,没有任何一个的课程也可以匹配正确的类。但是,只要没有过多的班级没有过度训练,那就可以了 - 它的分布将会很夸张,因此,即使它与已知的班级相匹配,它也会以较低的分数与较低的分数相匹配,从而不会赢得胜利实际已知类的SoftMax输出。

最后,我将两者都使用。绝对使用阈值(以捕获系统可以排除的情况(使用垃圾模型,我只能在您拥有的任何情况下对其进行训练。我希望在培训中包括正确的示例也不会损害,即使这是您拥有的唯一数据(请检查纸安东发布是否适用于图像(。尝试合成数据,例如通过随机组合来自不同图像的贴片。

我同意这是一个关键问题,但我也不知道该领域的工作很多。

张和伦肯(Zhang and Lecun(最近的一篇论文,尤其是针对图像分类的问题。他们使用大量未标记的数据来创建其他"无上述"类。不过,在某些情况下,他们的未标记数据并非完全未标记,并且他们具有删除实际上在其标签类中的"未标记"图像的方法。话虽如此,作者报告说,除了解决上述问题之外,他们甚至在测试集中看到了性能的提高。

作为在事后安装的东西,仅通过查看SoftMax的输出,我无法提供任何指针。

相关内容

最新更新