我有一个很长的数据帧(数百万行,几列(。对于运行固定效应回归,我想使用 factor
函数将分类变量声明为因子,但这非常慢。我正在寻找一个潜在的解决方案来加快它。
我的代码如下:
library(lfe)
my_data=read.csv("path_to//data.csv")
attach(data.frame(my_data))
以下是非常慢的线路:
my_data$col <- factor(my_data$col)
如果您知道正在创建的因子的水平,这可以大大加快速度。观察:
library(microbenchmark)
set.seed(237)
test <- sample(letters, 10^7, replace = TRUE)
microbenchmark(noLevels = factor(test), withLevels = factor(test, levels = letters), times = 20)
Unit: milliseconds
expr min lq mean median uq max neval cld
noLevels 523.6078 545.3156 653.4833 696.4768 715.9026 862.2155 20 b
withLevels 248.6904 270.3233 325.0762 291.6915 345.7774 534.2473 20 a
为了获得OP情况的水平,我们只需称unique
.
myLevels <- unique(my_data$col)
my_data$col <- factor(my_data$col, levels = myLevels)
还有一个由Kevin Ushley编写的Rcpp
产品(使用Rcpp快速生成因子(。 我稍微修改了代码,假设人们会先验地知道级别。 引用网站的函数RcppNoLevs
,修改后的 Rcpp 函数RcppWithLevs
在下面的基准测试中。
microbenchmark(noLevels = factor(test),
withLevels = factor(test, levels = letters),
RcppNoLevs = fast_factor(test),
RcppWithLevs = fast_factor_Levs(test, letters), times = 20)
Unit: milliseconds
expr min lq mean median uq max neval cld
noLevels 571.5482 609.6640 672.1249 645.4434 704.4402 1032.7595 20 d
withLevels 275.0570 294.5768 318.7556 309.2982 342.8374 383.8741 20 c
RcppNoLevs 189.5656 203.3362 213.2624 206.9281 215.6863 292.8997 20 b
RcppWithLevs 105.7902 111.8863 120.0000 117.9411 122.8043 173.8130 20 a
下面是修改后的 Rcpp 函数,它假设将级别作为参数传递:
#include <Rcpp.h>
using namespace Rcpp;
template <int RTYPE>
IntegerVector fast_factor_template_Levs( const Vector<RTYPE>& x, const Vector<RTYPE>& levs) {
IntegerVector out = match(x, levs);
out.attr("levels") = as<CharacterVector>(levs);
out.attr("class") = "factor";
return out;
}
// [[Rcpp::export]]
SEXP fast_factor_Levs( SEXP x, SEXP levs) {
switch( TYPEOF(x) ) {
case INTSXP: return fast_factor_template_Levs<INTSXP>(x, levs);
case REALSXP: return fast_factor_template_Levs<REALSXP>(x, levs);
case STRSXP: return fast_factor_template_Levs<STRSXP>(x, levs);
}
return R_NilValue;
}