在大熊猫中快速有效地用历史平均值填充缺失的数据

Question

我正在使用一个具有500k观测值的大型面板数据集(纵向数据(。目前，我正在尝试使用每个变量的截止时间 t 的平均值来填充缺失的数据(最多 30% 的观测值(。(我不用总体平均值填充数据的原因，是为了避免因使用仅在以后时间点可用的数据而产生的前瞻性偏差。

我编写了以下函数来完成这项工作，但运行速度非常慢(5k 行需要 500 小时！！总的来说，我发现在 Pandas 中填写缺失的数据是一项计算繁琐的任务。请告诉我您通常如何填充缺失值，以及如何使其快速运行

用平均时间"t"填充的函数：

def meanTillTimeT(x,cols):
start = time.time()
print('Started')
x.reset_index(inplace=True)
for i in cols:
l1 =[]
for j in range(x.shape[0]):
if x.loc[j,i] !=0 and np.isnan(x.loc[j,i]) == False :
l1.append(x.loc[j,i])
elif np.isnan(x.loc[j,i])==True :
x.loc[j,i]=np.mean(l1)      
end = time.time()
print("time elapsed:", end - start)
return x

Answer 1

让我们构建一个数据帧来说明：

import pandas as pd
import numpy as np
df = pd.DataFrame({"value1": [1, 2, 1, 5, np.nan, np.nan, 8, 3],
"value2": [0, 8, 1, np.nan, np.nan, 8, 9, np.nan]})

下面是数据帧：

value1  value2
0     1.0     0.0
1     2.0     8.0
2     1.0     1.0
3     5.0     NaN
4     NaN     NaN
5     NaN     8.0
6     8.0     9.0
7     3.0     NaN

现在，我建议首先使用熊猫计算累积总和。DataFrame.cumsum 以及非 NaN 值的数量，以便计算平均值。之后，用这些手段填充 NaN 并将它们插入原始数据帧就足够了。这两个动作都使用熊猫。DataFrame.fillna，它将比Python循环快得多：

df_mean = df.cumsum() / (~df.isna()).cumsum()
df_mean = df_mean.fillna(method = "ffill")
df = df.fillna(value = df_mean)

结果是：

value1  value2
0    1.00     0.0
1    2.00     8.0
2    1.00     1.0
3    5.00     3.0
4    2.25     3.0
5    2.25     8.0
6    8.00     9.0
7    3.00     5.2