r语言 - MLR:如何计算顺序 MBO 参数化模型的排列特征重要性?

Question

我正在使用软件包mlr和mlrMBO进行嵌套交叉验证。内部CV用于参数化(例如，找到最佳参数(。由于我想比较不同学习者的表现，因此我使用 mlr 的基准函数进行了基准测试实验。我的问题如下：是否可以在参数化模型/学习器上进行排列？当我在基准测试中使用的学习器上调用generateFeatureImportantData时，会再次估计模型(忽略通过顺序优化学习的参数化(。以下是鸢尾花数据集上的一些代码来说明我的问题(没有预处理，仅用于说明(。

library(dplyr)
library(mlr)
library(mlrMBO)
library(e1071)
nr_inner_cv <- 3L
nr_outer_cv <- 2L
inner = makeResampleDesc(
"CV"
, iters = nr_inner_cv  # folds used in tuning/bayesian optimization)
learner_knn_base = makeLearner(id = "knn", "classif.knn")
par.set = makeParamSet(
makeIntegerParam("k", lower = 2L, upper = 10L)
)
ctrl = makeMBOControl()
ctrl <- makeMBOControl(propose.points = 1L)
ctrl <- setMBOControlTermination(ctrl, iters = 10L)
ctrl <- setMBOControlInfill(ctrl, crit = crit.ei, filter.proposed.points = TRUE)
set.seed(500)
tune.ctrl <- makeTuneControlMBO(
mbo.control = ctrl,
mbo.design = generateDesign(n = 10L, par.set = par.set)
)
learner_knn = makeTuneWrapper(learner = learner_knn_base
, resampling = inner
, par.set = par.set
, control = tune.ctrl
, show.info = TRUE
)
learner_nb <- makeLearner(
id = "naiveBayes"
,"classif.naiveBayes"
)
lrns = list(
learner_knn
, learner_nb
)
rdesc = makeResampleDesc("CV", iters = nr_outer_cv)
set.seed(12345)
bmr = mlr::benchmark(lrns, tasks = iris.task, show.info = FALSE,
resamplings = rdesc, models = TRUE, keep.extract = TRUE)

Answer 1

我认为这是一个我们经常遇到的普遍问题：我可以对简历中适合的模型进行XY吗？简短的回答：是的，你可以，但你真的想要吗？

详细解答

类似问：

• mlr：检索生成过滤器值CV循环内数据的输出

• R - mlr：有没有一种简单的方法可以在嵌套重采样(空间(中获得调谐支持向量机模型的可变重要性？

正如@jakob-r的评论所示，有两种选择：

1. 要么在 CV 外部重新创建模型并在其上调用所需的函数
2. 您可以在相应折叠的每个拟合模型的 CV 中通过resample()中的extract参数执行此操作。另请参阅上面链接的 Q2。

1( 如果要在所有型号上执行此操作，请参阅下面的 2(。如果您只想在某些折叠的模型上进行此操作：您使用哪些标准来选择这些模型？

2(是高度计算密集型的，你可能想问你为什么要这样做 - 即你想用每个折叠模型的所有信息做什么？

总的来说，我从未见过应用的研究/用例。您在简历中所做的一切都有助于估计每个折叠的性能值。您不希望以后与这些模型进行交互。

您宁愿在未分区的数据集上估计一次特征重要性(您事先已经优化了一次超标准(。这同样适用于 ML 模型的其他诊断方法：将它们应用于您的"完整数据集"，而不是 CV 中的每个模型。