我是计算机视觉领域的新手,所以如果这个问题以任何方式不合适,我深表歉意。
我已经使用 PascalVOC 2012 数据集创建了一个分割模型,到目前为止,我只能在训练和 val 数据集上对其进行测试。现在我想使用测试集测试我的模型,但是,它不提供任何注释,所以我不确定我能做些什么来衡量我的模型在测试数据上的性能。
我注意到其他数据集,如COCO,没有为测试数据提供注释。
我很好奇,在这种情况下,发表有关在这些数据集上训练的模型的论文的研究人员如何在测试数据上测试它们,以及我能做些什么来做同样的事情。
提前感谢您的帮助!
许多主要数据集不发布测试集的主要原因是为了避免人们由于过度拟合而报告不可靠的结果。
对于模型选择和"非正式"评估,您应该将训练集拆分为训练集和验证拆分,并在后者上进行评估,同时仅在第一个上训练。
那么,研究人员是如何在论文中报告测试集的结果的呢?
一旦你有一个想要评估的明确模型,你就可以将你的结果上传到评估服务器;通过这种方式,你可以对自己进行最先进的基准测试,而无需显式访问测试集。
例子:
- 对于 COCO 数据集,您可以在此处找到有关如何上传结果(针对每个任务(的指南。
- 对于 CityScapes 数据集,您可以通过此页面提交结果。
作为旁注:VOC2012已经很老了,所以如果你真的需要它,也许你也可以找到测试集。例如,看看约瑟夫·雷德蒙(Joseph Redmon(的这面镜子。