r语言 - 如何确定哪个折叠最终用作 CV 中的测试?

Question

如何确定哪个折叠最终用作测试，哪个折叠作为 MLR 包中的 5 折交叉验证中的训练？方法$resampling$train.inds和$resampling$test.inds返回所有 5 折，而不返回最终用于训练和测试目的的信息。

library("mlr")
regr_task = makeRegrTask(data = mtcars, target = "hp")
learner = makeLearner("regr.ranger", 
importance = "impurity", 
num.threads = 3)
par_set = makeParamSet(
makeIntegerParam("num.trees", lower = 100L, upper = 500L),
makeIntegerParam("mtry", lower = 4L, upper = 8L)
)
rdesc = makeResampleDesc("CV", iters = 5, predict = "both")
meas = rmse
ctrl = makeTuneControlGrid()
set.seed(1)
tuned_model = tuneParams(learner = learner,
task = regr_task,
resampling = rdesc,
measures = list(meas, setAggregation(meas, train.mean)),
par.set = par_set,
control = ctrl,
show.info = FALSE)
tuned_model
model_rf = setHyperPars(learner = learner, par.vals = tuned_model$x)
set.seed(1)
model_rf = train(learner = model_rf, task = regr_task)
model_rf
tuned_model$resampling$train.inds
tuned_model$resampling$test.inds

Answer 1

你在这里混淆了事情。

您将数据分成 5 折。每个折叠都包含训练和测试数据。 这就是为什么你会得到一个 5 个列表，用于$resampling$train.inds和$resampling$test.inds。如果拆分为 5 个折叠，您将在 4 个分区(80% 的数据(上进行训练，并在 1 个分区(20% 的数据(上进行评估。

正确的措辞是："哪些指数用于训练和测试？下面的代码回答了这个问题。

tuned_model$resampling$train.inds
[[1]]
[1] 10 32  6 15 20 28 26 12  8 24 31 27 22  2 13 29 17 11  1  3 16 18 21 19  9  5
[[2]]
[1] 10  6 15 28 26 12 23 30  8 25 24  7 31 27 14  2 13 29 17  1 16  4 21 19  9
[[3]]
[1] 10 32 20 26 12 23 30  8 25  7 27 22 14  2 13 29 17 11  1  3 16 18  4 19  5
[[4]]
[1] 32  6 15 20 28 26 12 23 30 25 24  7 31 22 14 13 17 11  1  3 18  4 21 19  9  5
[[5]]
[1] 10 32  6 15 20 28 23 30  8 25 24  7 31 27 22 14  2 29 11  3 16 18  4 21  9  5
> tuned_model$resampling$test.inds
[[1]]
[1]  4  7 14 23 25 30
[[2]]
[1]  3  5 11 18 20 22 32
[[3]]
[1]  6  9 15 21 24 28 31
[[4]]
[1]  2  8 10 16 27 29
[[5]]
[1]  1 12 13 17 19 26