在 GridSearchCV 中显式指定测试/训练集

Question

我有一个关于sklearnGridSearchCVcv参数的问题。

我正在使用具有时间成分的数据，因此我认为 KFold 交叉验证中的随机洗牌似乎不明智。

相反，我想显式指定GridSearchCV中的训练、验证和测试数据的截止值。 我可以这样做吗？

为了更好地阐明这个问题，这是我手动处理的方法。

import numpy as np
import pandas as pd
from sklearn.linear_model import Ridge
np.random.seed(444)
index = pd.date_range('2014', periods=60, freq='M')
X, y = make_regression(n_samples=60, n_features=3, random_state=444, noise=90.)
X = pd.DataFrame(X, index=index, columns=list('abc'))
y = pd.Series(y, index=index, name='y')
# Train on the first 30 samples, validate on the next 10, test on
#     the final 10.
X_train, X_val, X_test = np.array_split(X, [35, 50])
y_train, y_val, y_test = np.array_split(y, [35, 50])
param_grid = {'alpha': np.linspace(0, 1, 11)}
model = None
best_param_ = None
best_score_ = -np.inf
# Manual implementation
for alpha in param_grid['alpha']:
ridge = Ridge(random_state=444, alpha=alpha).fit(X_train, y_train)
score = ridge.score(X_val, y_val)
if score > best_score_:
best_score_ = score
best_param_ = alpha
model = ridge
print('Optimal alpha parameter: {:0.2f}'.format(best_param_))
print('Best score (on validation data): {:0.2f}'.format(best_score_))
print('Test set score: {:.2f}'.format(model.score(X_test, y_test)))
# Optimal alpha parameter: 1.00
# Best score (on validation data): 0.64
# Test set score: 0.22

这里的过程是：

• 对于 X 和 Y，我想要一个训练集、验证集和测试集。 训练集是时间序列中的前 35 个样本。 验证集是接下来的 15 个样本。 测试集是最后的 10 个。
• 训练集和验证集用于确定岭回归中的最佳alpha参数。 在这里，我测试 (0.0， 0.1， ...， 0.9， 1.0) 的alphas。
测试
• 集作为看不见的数据进行"实际"测试。

无论如何。。。似乎我想做这样的事情，但不确定在这里传递给cv什么：

from sklearn.model_selection import GridSearchCV
grid_search = GridSearchCV(Ridge(random_state=444), param_grid, cv= ???)
grid_search.fit(...?)

我在解释时遇到困难的文档指定：

cv：整数，交叉验证生成器或可迭代的，可选的

确定交叉验证拆分策略。可能的输入 简历是：

• 无，使用默认的 3 折交叉验证，
• 整数，用于指定(分层)KFold 中的折叠数，
• 要用作交叉验证生成器的对象。
• 可迭代的屈服列车，测试分裂。

对于整数/无输入，如果估计器是分类器并且 y 是 无论是二进制还是多类，都使用StratifiedKFold。在所有其他 案例，使用KFold。

Answer 1

正如@MaxU所说，最好让 GridSearchCV 处理拆分，但如果您想按照问题中的设置强制执行拆分，那么您可以使用执行此操作的PredefinedSplit。

因此，您需要对代码进行以下更改。

# Here X_test, y_test is the untouched data
# Validation data (X_val, y_val) is currently inside X_train, which will be split using PredefinedSplit inside GridSearchCV
X_train, X_test = np.array_split(X, [50])
y_train, y_test = np.array_split(y, [50])

# The indices which have the value -1 will be kept in train.
train_indices = np.full((35,), -1, dtype=int)
# The indices which have zero or positive values, will be kept in test
test_indices = np.full((15,), 0, dtype=int)
test_fold = np.append(train_indices, test_indices)
print(test_fold)
# OUTPUT: 
array([-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1,
-1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1, -1,
-1,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0])
from sklearn.model_selection import PredefinedSplit
ps = PredefinedSplit(test_fold)
# Check how many splits will be done, based on test_fold
ps.get_n_splits()
# OUTPUT: 1
for train_index, test_index in ps.split():
print("TRAIN:", train_index, "TEST:", test_index)
# OUTPUT: 
('TRAIN:', array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16,
17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33,
34]), 
'TEST:', array([35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49]))

# And now, send this `ps` to cv param in GridSearchCV
from sklearn.model_selection import GridSearchCV
grid_search = GridSearchCV(Ridge(random_state=444), param_grid, cv=ps)
# Here, send the X_train and y_train
grid_search.fit(X_train, y_train)

发送到fit()的X_train y_train将使用我们定义的拆分拆分为训练和测试(在您的例子中为 val)，因此，Ridge 将根据索引 [0：35] 的原始数据进行训练，并在 [35：50] 进行测试。

希望这能清除工作。

Answer 2

你试过TimeSeriesSplit吗？

它是专门为拆分时间序列数据而制作的。

tscv = TimeSeriesSplit(n_splits=3)
grid_search = GridSearchCV(clf, param_grid, cv=tscv.split(X))

Answer 3

在时间序列数据中，Kfold 不是一个正确的方法，因为 kfold cv 会打乱你的数据，你会在序列中丢失模式。这是一种方法

import xgboost as xgb
from sklearn.model_selection import TimeSeriesSplit, GridSearchCV
import numpy as np
X = np.array([[4, 5, 6, 1, 0, 2], [3.1, 3.5, 1.0, 2.1, 8.3, 1.1]]).T
y = np.array([1, 6, 7, 1, 2, 3])
tscv = TimeSeriesSplit(n_splits=2)
model = xgb.XGBRegressor()
param_search = {'max_depth' : [3, 5]}
my_cv = TimeSeriesSplit(n_splits=2).split(X)
gsearch = GridSearchCV(estimator=model, cv=my_cv,
param_grid=param_search)
gsearch.fit(X, y)

参考 - 如何使用带有 GridSearchCV 对象的 TimeSeriesSplit 来调整 scikit-learn 中的模型？