r语言 - 使用整洁模型配方包添加缺少的指标列

Question

我想使用食谱包创建一个配方，该配方包既插补缺失的数据，又添加指示缺少哪些值的指示符列。如果可以选择在为原始数据框中的每一列包括一个指示符列或仅包括原始数据框中缺少数据的列的指示符列之间进行选择，那也很好。我知道我可以轻松地使用配方估算缺失值，但是是否有内置方法来添加缺失的指标列？

例如，如果我有一个这样的数据框：

> data.frame(x = c(1, NA, 3), y = 4:6)
x y
1  1 4
2 NA 5
3  3 6

我希望插补和添加缺少的指标列后的输出如下所示：

x y x_missing
1  1 4     FALSE
2  2 5      TRUE
3  3 6     FALSE

当然，对于这样的简单例子，我可以手动完成。但是，在机器学习管道中处理大型数据集时，使用自动化方法会很有帮助。

根据recipes::check_missing的文档，有一个columns论点，

列变量名称的字符串，将由 terms 参数(最终(填充。

但我不确定这意味着什么，因为没有terms论据可以check_missing.

作为参考，我正在寻找的功能是通过 MissingIndicator 类在scikit-learn中实现的。

Answer 1

可以通过创建自定义步骤来执行此操作。按照其中一个小插图中所述的过程，创建定义步骤的函数，然后为自定义步骤定义prep和bake方法。

以下代码定义用于创建缺失值指示器的新步骤。将添加一个新列，并在名称后附加后缀_missing。

step_missing_ind <- function(recipe, 
...,
role = NA, 
trained = FALSE,
columns = NULL,
skip = FALSE,
id = rand_id("missing_ind")) {
terms <- ellipse_check(...)
add_step(
recipe,
step_missing_ind_new(
terms = terms, 
trained = trained,
role = role, 
columns = columns,
skip = skip,
id = id
)
)
}
step_missing_ind_new <- function(terms, 
role, 
trained, 
columns, 
skip, 
id) {
step(
subclass = "missing_ind",
terms = terms,
role = role,
trained = trained,
columns = columns,
skip = skip,
id = id
)
}
print.step_missing_ind <- function(x, width = max(20, options()$width), ...) {
cat("Missing indicator on ")
cat(format_selectors(x$terms, width = width))
if (x$trained) cat(" [trained]n") else cat("n")
invisible(x)
}
prep.step_missing_ind <- function(x, training, info = NULL, ...) {
col_names <- terms_select(terms = x$terms, info = info)
step_missing_ind_new(
terms = x$terms,
trained = TRUE,
role = x$role,
columns = col_names,
skip = x$skip,
id = x$id
)
}
bake.step_missing_ind <- function(object, new_data, ...) {
for (var in object$columns) {
new_data[[paste0(var, "_missing")]] <- is.na(new_data[[var]])
}
as_tibble(new_data)
}

然后，我们可以在配方管道中使用此缺失指标步骤，如以下示例所示，我们添加一个缺失值指标并执行均值插补。缺失指标和插补步骤的顺序很重要：缺失指标步骤必须在插补步骤之前。

library(recipes)
data <- tribble(
~x, ~y, ~z,
1, 4, 7,
NA, 5, 8,
3, 6, NA
)
recipe(~ ., data = data) %>%
step_missing_ind(x, y, z) %>%
step_meanimpute(x, y, z) %>%
prep() %>%
juice()
#> # A tibble: 3 x 6
#>       x     y     z x_missing y_missing z_missing
#>   <dbl> <dbl> <dbl> <lgl>     <lgl>     <lgl>    
#> 1     1     4   7   FALSE     FALSE     FALSE    
#> 2     2     5   8   TRUE      FALSE     FALSE    
#> 3     3     6   7.5 FALSE     FALSE     TRUE