在 caffe 中创建数据时,val 数据是否与训练数据不同



我制作了 3 组图像数据:

1-包含130,523张图像的火车。2-验证罐装14,503张图像。3-包含94,500张图像的测试。 现在,我想为要用于训练的数据创建 .lmdb 格式。在教程中,它说将数据分组为训练和 VAL。那么这是否意味着我应该只使用训练和 val 数据集而根本不使用测试?稍后当我想测试我的模型时,测试数据集会发生什么?它们不应该再次转换为 .lmdb 吗?我想确保我已经理解了这些差异。对不起,如果一个问题非常基本,但我没有找到任何答案。

有三种类型的数据集。

训练集 - 这是训练网络的数据。

测试集 - 此数据集用于验证网络是否未过度拟合到训练集,以及是否已正则化。

验证集 - 由于我们实际上在训练期间使用测试集(以检查正则化(,因此建议保留一个单独的测试集,到目前为止数据尚未看到。在此集合上运行网络将告知我们在现实世界中测试网络时将如何执行。

在您的情况下,您应该为所有三个文件制作 lmdb 文件。在训练期间使用训练和测试集。训练后,使用验证集确认训练的网络是否准确。

有时,术语验证和测试变得可以互换(至少在咖啡中(。但是,从每组数据的大小来看,我认为验证集(包含~14k图像(应该用于在实际测试模型之前检查训练模型的准确性。因此,您的测试数据集(~94k 图像(将被视为看不见的真实世界数据。

要了解如何进行训练-价值-测试过程,还可以查看 caffe 目录中提供的示例。 00-classification.ipynb01-learning-lenet.ipynb就足够了。

最新更新