r-从fit_resamples()结果中提取模型对象的最快方法



这个问题如果是tidymodels用户,如果你很懒,只需跳过整个文本,直接跳到下面的粗体问题

我正在寻找最有效的方法来从拟合的重采样(tune::fit_resample()(中提取我的防风模型对象。

当我想用交叉验证来训练模型时,我可以使用tune::tune_grid()fit_resamples()

比方说,我知道我的算法的最佳参数,所以我不需要任何参数调整,这意味着我决定使用fit_resamples()。如果我决定使用tune_grid(),我通常会设置一个工作流程,因为我在tune_grid运行后评估不同的模型:我使用tune::show_best()tune::select_best()来探索和提取我的模型的最佳参数。然后我使用tune::finalize_workflow()workflows::pull_wokrflow_fit()来提取我的模型对象。此外,当我想看到预测时,我会选择tune::last_fit()tune::collect_predictions()

当我使用fit_resamples()时,所有这些步骤似乎都是多余的,因为我基本上只有一个具有稳定参数的模型。所以上面的这些步骤都不是必须的,尽管如此,我还是要经历它们。是吗?

在执行fit_resamples()之后,我得到了一个关于.splits、.metrics、.notes等信息的tibble。所以我的问题真的归结为:

  • fit_resamples()的输出到我的最终防风模型对象的最快方法是什么

关于fit_resamples()需要实现的重要一点是,它的目的是测量性能。您在fit_resamples()中训练的模型以后不会保留或使用。

让我们假设您知道要用于SVM模型的参数。

library(tidymodels)
#> ── Attaching packages ─────────────────────────── tidymodels 0.1.1 ──
#> ✓ broom     0.7.0      ✓ recipes   0.1.13
#> ✓ dials     0.0.8      ✓ rsample   0.0.7 
#> ✓ dplyr     1.0.0      ✓ tibble    3.0.3 
#> ✓ ggplot2   3.3.2      ✓ tidyr     1.1.0 
#> ✓ infer     0.5.3      ✓ tune      0.1.1 
#> ✓ modeldata 0.0.2      ✓ workflows 0.1.2 
#> ✓ parsnip   0.1.2      ✓ yardstick 0.0.7 
#> ✓ purrr     0.3.4
#> ── Conflicts ────────────────────────────── tidymodels_conflicts() ──
#> x purrr::discard() masks scales::discard()
#> x dplyr::filter()  masks stats::filter()
#> x dplyr::lag()     masks stats::lag()
#> x recipes::step()  masks stats::step()
## pretend this is your training data
data("hpc_data")
svm_spec <- svm_poly(degree = 1, cost = 1/4) %>%
set_engine("kernlab") %>%
set_mode("regression")
svm_wf <- workflow() %>%
add_model(svm_spec) %>%
add_formula(compounds ~ .)
hpc_folds <- vfold_cv(hpc_data)
svm_rs <- svm_wf %>%
fit_resamples(
resamples = hpc_folds
)
svm_rs
#> # Resampling results
#> # 10-fold cross-validation 
#> # A tibble: 10 x 4
#>    splits             id     .metrics         .notes          
#>    <list>             <chr>  <list>           <list>          
#>  1 <split [3.9K/434]> Fold01 <tibble [2 × 3]> <tibble [0 × 1]>
#>  2 <split [3.9K/433]> Fold02 <tibble [2 × 3]> <tibble [0 × 1]>
#>  3 <split [3.9K/433]> Fold03 <tibble [2 × 3]> <tibble [0 × 1]>
#>  4 <split [3.9K/433]> Fold04 <tibble [2 × 3]> <tibble [0 × 1]>
#>  5 <split [3.9K/433]> Fold05 <tibble [2 × 3]> <tibble [0 × 1]>
#>  6 <split [3.9K/433]> Fold06 <tibble [2 × 3]> <tibble [0 × 1]>
#>  7 <split [3.9K/433]> Fold07 <tibble [2 × 3]> <tibble [0 × 1]>
#>  8 <split [3.9K/433]> Fold08 <tibble [2 × 3]> <tibble [0 × 1]>
#>  9 <split [3.9K/433]> Fold09 <tibble [2 × 3]> <tibble [0 × 1]>
#> 10 <split [3.9K/433]> Fold10 <tibble [2 × 3]> <tibble [0 × 1]>

此输出中没有安装的型号。模型适用于每一个重采样,但你不想把它们用于任何事情;它们被丢弃是因为它们的唯一目的是计算CCD_ 17来估计性能。

如果你想用一个模型来预测新数据,你需要回到你的整个训练集,用整个训练集再次拟合你的模型。

svm_fit <- svm_wf %>%
fit(hpc_data)
svm_fit
#> ══ Workflow [trained] ═══════════════════════════════════════════════
#> Preprocessor: Formula
#> Model: svm_poly()
#> 
#> ── Preprocessor ─────────────────────────────────────────────────────
#> compounds ~ .
#> 
#> ── Model ────────────────────────────────────────────────────────────
#> Support Vector Machine object of class "ksvm" 
#> 
#> SV type: eps-svr  (regression) 
#>  parameter : epsilon = 0.1  cost C = 0.25 
#> 
#> Polynomial kernel function. 
#>  Hyperparameters : degree =  1  scale =  1  offset =  1 
#> 
#> Number of Support Vectors : 2827 
#> 
#> Objective Function Value : -284.7255 
#> Training error : 0.835421

由reprex包于2020-07-17创建(v0.3.0(

最后一个对象可以与pull_workflow_fit()一起用于可变重要性或类似的对象。

最新更新