r-使用自定义summaryFunction进行性能测试

Question

我正在使用插入符号中的自定义summaryFunction调整参数。

我最初认为，如果我设置了K-fold交叉验证，并且输入数据有N个点，那么性能将用N/K个数据点来衡量。

然而，显然这似乎是不正确的，因为当我使用browser()提取data$pred时，它只有10个数据。由于输入(df(有500多个数据点，所以这个数字比我预期的要小得多。

为什么它只有10个数据？有什么办法增加这个吗？(=使用更多大数据点进行性能测试(

需要任何形式的帮助。非常感谢。

sigma.list <- seq(1, 5, 1)
c.list <- seq(1, 10, 1)
met <- "FValue"
#define evaluation function
eval <- function(data, lev = NULL, model = NULL){
mat <- table(data$pred, data$obs)
pre <- mat[1,1]/sum(mat[1,]) #precision
rec <- mat[1,1]/sum(mat[,1]) #recall
res <- c("Precision"=pre, "Recall"=rec, "FValue"=2*pre*rec/(pre+rec))
browser()
res
}
#define train control
tc <-  trainControl(method = "cv",
number = 5,
summaryFunction = eval,
classProbs = TRUE,
)
#tune with caret
svm.tune <- train(Flag~.,
data = df,
method = "svmRadial",
tuneGrid = expand.grid(C=c.list, sigma=sigma.list),
trControl = tc,
metric = met
)

Answer 1

追踪到这一点后，这似乎是正常的caret行为。

我认为caret本质上是通过向它传递长度为10的假数据来验证summaryFunction是否正常工作。caret内部的函数就是evalSummaryFunction。

我不太确定我在RStudio的调试器中做了什么，但train.default:中的这段代码

testSummary <- evalSummaryFunction(y, wts = weights, 
ctrl = trControl, lev = classLevels, metric = metric, 
method = method)
perfNames <- names(testSummary)

调用evalSummaryFunction，看起来像：

function (y, wts = NULL, perf = NULL, ctrl, lev, metric, method) 
{
n <- if (class(y)[1] == "Surv") 
nrow(y)
else length(y)
if (class(y)[1] != "Surv") {
if (is.factor(y)) {
values <- rep_len(levels(y), min(10, n))
pred_samp <- factor(sample(values), levels = lev)
obs_samp <- factor(sample(values), levels = lev)
}
else {
pred_samp <- sample(y, min(10, n))
obs_samp <- sample(y, min(10, n))
}
}
else {
pred_samp <- y[sample(1:n, min(10, n)), "time"]
obs_samp <- y[sample(1:n, min(10, n)), ]
}
testOutput <- data.frame(pred = pred_samp, obs = obs_samp)
if (!is.null(perf)) {
if (is.vector(perf)) 
stop("`perf` should be a data frame", call. = FALSE)
perf <- perf[sample(1:nrow(perf), nrow(testOutput)), 
, drop = FALSE]
testOutput <- cbind(testOutput, perf)
}
if (ctrl$classProbs) {
for (i in seq(along = lev)) testOutput[, lev[i]] <- runif(nrow(testOutput))
testOutput[, lev] <- t(apply(testOutput[, lev], 1, function(x) x/sum(x)))
}
else {
if (metric == "ROC" & !ctrl$classProbs) 
stop("train()'s use of ROC codes requires class probabilities. See the classProbs option of trainControl()")
}
if (!is.null(wts)) 
testOutput$weights <- sample(wts, min(10, length(wts)))
testOutput$rowIndex <- sample(1:n, size = nrow(testOutput))
ctrl$summaryFunction(testOutput, lev, method)
}

10似乎是caret传递给您的摘要函数以评估它的假数据的长度(确保它正常工作？(。

如果有人能更好地验证/解释caret实际上是在做什么，请发帖。