r语言 - 是否可以根据几个度量在嵌套 CV 的内部循环中选择最佳超参数

Question

是否可以基于几个度量(多标准评估(在嵌套CV的内部重采样循环中选择最佳超参数组合？如果没有，是否可以添加新度量，按现有度量的比率计算？我一直在阅读有关makeTuneMultiCritControl，包中的tuneParamsMultiCrit函数的信息，但是在理解如何在嵌套重采样中应用它们时遇到了问题。

我将非常感谢有关此事的建议。问候

Answer 1

此外，我还想添加一个基于 tpr 和 tnr 的新度量值(真实技能统计(。我想知道以下代码是否有点接近需要的内容

# define a function to calculate TSS
tss.fun = function(task, model, pred, feats, extra.args) {
 predicted <- getPredictionResponse(pred)
 actual <- getPredictionTruth(pred)
 vec <-  ifelse(actual==0 & predicted==0,"TN",
              ifelse(actual==0 & predicted==1,"FP",
                     ifelse(actual==1 & predicted==0,"FN","TP")))
 cm <- table(vec)
 (cm["TP"]/(cm["TP"]+cm["FN"])) + (cm["TN"]/(cm["TN"]+cm["FP"])) - 1
}

^{创建于 2019-07-18 由 reprex 软件包 (v0.3.0(}