寻求有关分类器准确性的澄清

Question

我在MATLAB中使用分类学习器。在训练模型时，一些分类器返回更高的准确性，而另一个分类器返回的精度较低。由于我是机器学习的新手，我想问一下我们应该如何从这一点开始，即我们是否需要只考虑具有最高准确度的分类器？

Answer 1

有两种选择最佳模型的方法：

在第一个中，您将数据集拆分为 3 个子集：训练、验证和测试。在这种情况下，您可以选择要使用的模型类型(例如逻辑回归，随机森林分类器等(及其超参数。训练后，在验证数据集上测试模型。而不是用其他超参数和模型重复这一点。最后，您应该根据验证准确性选择最佳模型。

另一种类似的技术是交叉验证。在这里，您将数据集分为 2 个：训练和测试。稍后，您使用交叉价值(例如 K 折叠、重复分层 K 折叠等(训练和验证模型。最后，您选择了具有最佳性能的模型。