亲爱的堆栈溢出社区,
我安静地坐在一个特定的数据集上,这是相当巨大的(nrow=大约5亿)。经过一长串的数据操作,基本上数据集包括以下重要列:"ParticleId","flag","Volume"和"reduction"。
- 粒子Id是唯一的,它表达了一个穿越时间和空间的移动粒子。
- 该标志指示粒子是否在特定区域内(是/否)
- 每个粒子 ID 都有一个先前的体积(注入时),如果粒子在这个特定区域内或之外,则与时间有关
- 如果颗粒在特定区域内,则必须将先前的体积减少相应的还原值
我写了一个带有 2 个 if-else 子句的 for 循环来减少每行的音量。该循环经过测试并完美地用于测试目的,最多 20k 行的子集。不幸的是,当应用于孔数据集(500mio.行)时,性能呈指数级下降。我尝试应用几种矢量化方法,但似乎我错过了一些东西。我非常感谢您对矢量化这个特定问题的帮助和想法。
请在下面找到 for 循环和测试数据集:
dataset <- data.frame(1:20)
dataset$ParticleId <- c(1,1,1,1,2,2,2,2,2,3,3,4,4,4,4,4,4,4,4,4)
dataset$flag <- c(T,T,T,F,T,T,F,F,T,T,T,T,T,T,F,F,F,F,T,T)
dataset$Volume <- 0.01
dataset$reduction <- c(1.21e-03,1.21e-04,1.21e-03,1.21e-06,1.21e-03,1.21e-03,1.21e-04,1.21e-03,1.21e-06,1.21e-03,1.21e-03,1.21e-04,1.21e-03,1.21e-06,1.21e-03,1.21e-03,1.21e-04,1.21e-03,1.21e-06,1.21e-03)
for(i in 2:nrow(dataset)){
if(dataset[i,]$flag == TRUE & dataset[i,]$ParticleId == dataset[i-1,]$ParticleId){
dataset[i,]$Volume <- dataset[i-1,]$Volume - dataset[i-1,]$reduction
}else{
if(dataset[i,]$flag == FALSE & dataset[i,]$ParticleId == dataset[i-1,]$ParticleId){
dataset[i,]$Volume <- dataset[i-1,]$Volume
}else{
dataset[i,]$Volume <- dataset[i,]$Volume
}
}
}
如果需要,我可以提供原始数据的更大子集。测试数据集的创建只是提供了一个数据的外观......
这会产生您想要的输出,并且应该比使用 for
-循环和 if .. else ..
语句的初始方法快得多:
library(dplyr)
dataset %>%
group_by(ParticleId) %>%
mutate(Volume = Volume[1L] - cumsum(lag(reduction, default = 0L)*flag))
#Source: local data frame [20 x 5]
#Groups: ParticleId
#
# X1.20 ParticleId flag Volume reduction
#1 1 1 TRUE 0.01000000 1.21e-03
#2 2 1 TRUE 0.00879000 1.21e-04
#3 3 1 TRUE 0.00866900 1.21e-03
#4 4 1 FALSE 0.00866900 1.21e-06
#5 5 2 TRUE 0.01000000 1.21e-03
#6 6 2 TRUE 0.00879000 1.21e-03
#7 7 2 FALSE 0.00879000 1.21e-04
#8 8 2 FALSE 0.00879000 1.21e-03
#9 9 2 TRUE 0.00758000 1.21e-06
#10 10 3 TRUE 0.01000000 1.21e-03
#11 11 3 TRUE 0.00879000 1.21e-03
#12 12 4 TRUE 0.01000000 1.21e-04
#13 13 4 TRUE 0.00987900 1.21e-03
#14 14 4 TRUE 0.00866900 1.21e-06
#15 15 4 FALSE 0.00866900 1.21e-03
#16 16 4 FALSE 0.00866900 1.21e-03
#17 17 4 FALSE 0.00866900 1.21e-04
#18 18 4 FALSE 0.00866900 1.21e-03
#19 19 4 TRUE 0.00745900 1.21e-06
#20 20 4 TRUE 0.00745779 1.21e-03
这是做什么的:
- 取数据"数据集"
- 按粒子 ID 对数据进行分组(然后对每个组执行以下操作)
-
mutate
用于修改/向数据添加列。在这种情况下,我们修改现有的列"卷"。我们取每个组中的第一个元素 (Volume[1L]
),并从该值中减去reduction*flag
的累积和。因为我们reduction
乘以flag
,这是一个逻辑列,所以每当flag
TRUE
时,归约乘以 1,每当flag
FALSE
时,它乘以 0。这意味着,如果flag
FALSE
,我们从音量列中减去 0(无)(即它保持原样)。此外,我们使用lag(Volume, default = 0)
,因为我们希望在每一行中减去前一行(滞后)中存在的reduction
值。default = 0
确保,如果组中没有前一行,即我们在组的第一行进行操作,则假定前一个缩减值为 0 - 因此,我们不会从第一行 Volume 值中减去任何内容。 - 如果您想知道为什么我在数字后使用 L(如
default = 0L
):它用于表示使用较少内存的integer
-值,因此可以帮助加快代码速度,因为您正在处理相当多的数据。
我尝试在data.table中使用相同的代码(甚至可能更快一点):
library(data.table)
setkey(setDT(dataset), ParticleId)[,
Volume:=Volume[1L]-cumsum(c(0L, head(reduction, -1L))*flag), ParticleId]
我认为在最新版本的 data.table (1.9.5) 中,您可以使用shift
来创建滞后缩减。
该方法与此处的dplyr解决方案基本相同。但在开始之前,我们使用 setDT()
将 data.frame 转换为 data.table
对象并使用 setkey()
设置键。其余的非常相似,除了 data.table 通过引用更新数据(使用 :=
时),而不是lag(..., default = 0)
我们使用 c(0, head(reduction, -1))
。