据我所知，交叉验证(在GridSearchCV/RandomizedSearchCV中)将数据分成折叠，其中每个折叠一次充当验证集。但是sklearn的一个建议是:
通过评估各种参数设置来选择模型可以看作是使用标记数据来"训练"网格参数的一种方法。在评估结果模型时，重要的是在网格搜索过程中没有看到的保留样本上进行评估:建议将数据分为开发集(将提供给GridSearchCV实例)和评估集以计算性能指标。这可以通过使用train_testrongplit实用程序函数来完成。
所以我们可以使用"train_testrongplit"将原始数据拆分为训练数据和有效数据
X_train, X_val, y_train, y_val = train_test_split(X,y,test_size=0.25)
在fit GridSearchCV/RandomizedSearchCV中使用X_train,y_train，在fit_params中使用X_val, y_val用于eval_set。
它真的有用吗?
我们对原始数据进行两次拆分(SearchCV和train_testrongplit)—>有必要吗?
在SearchCV中应用的数据较少(X vs X_train) ->训练时准确性较低?
这里的文档将计算集称为测试集。因此，您应该使用train_test_split将数据分成训练集和测试集。
这对于执行此train_test_split很有用，因为您将能够使用包含未见过的数据的测试集验证模型的结果。
训练集将在GridSearchCV期间使用，以找到模型的最佳参数。正如文档中所解释的，您可以使用cv参数使用n-1fold来训练您的模型，并使用1fold来验证它。
我建议在GridSearchCV期间使用交叉验证集，而不是使用固定验证集，因为这将更好地指示您的模型在未见过的数据上的表现。