将函数应用于多索引多列数据框架的python方式是什么?

Question

给定下面的多索引多列数据框，我想将线性回归应用于该数据框的每个块，例如，"index(X,1)， column a "。并计算预测的数据帧为df_result。

                           A    B
X   1   1997-01-31  -0.061332   0.630682
        1997-02-28  -2.671818   0.377036
        1997-03-31  0.861159    0.303689
        ...
        1998-01-31  0.535192    -0.076420
        ...
        1998-12-31  1.430995    -0.763758
Y   1   1997-01-31  -0.061332   0.630682
        1997-02-28  -2.671818   0.377036
        1997-03-31  0.861159    0.303689
        ...
        1998-01-31  0.535192    -0.076420
        ...
        1998-12-31  1.430995    -0.763758

这是我尝试的:

import pandas as pd
import numpy as np 
from sklearn.linear_model import LinearRegression
N = 24
dates = pd.date_range('19970101', periods=N, freq='M')
df=pd.DataFrame(np.random.randn(len(dates),2),index=dates,columns=list('AB')) 
df2=pd.concat([df,df],keys=[('X','1'),('Y','1')])
regr = LinearRegression()
# df_result will be reassined, copy the index and metadata from df2
df_result=df2.copy()
# I know the double loop below is not a clever idea. What is the right way?
for row in df2.index.to_series().unique():
    for col in df2.columns:
        #df2 can contain missing values
        lenX=np.count_nonzero(df2.ix[row[:1],col].notnull().values.ravel())
        X=np.array(range(lenX)).reshape(lenX,1)
        y=df2.ix[row[:1],col]
        y=y[y.notnull()]
        # train the model
        regr.fit(X,y)
        df_result.ix[row[:1],col][:lenX] = regr.predict(X)

问题是上面的双循环使得计算非常慢，100kb的数据集需要十多分钟。python的做法是什么?

编辑:

上面最后一行代码的第二个问题是，我正在处理数据框架的一个切片的副本。"df_result"的部分列没有更新。

EDIT2:

原始数据的某些列可能包含缺失值，我们不能直接对它们进行回归。例如,

df2.ix[('X','1','1997-12-31')]['A']=np.nan
df2.ix[('Y','1','1998-12-31')]['A']=np.nan

Answer 1

我不太明白行循环。

无论如何，为了保持数字的一致性，我把np.random.seed(1)放在顶部

简而言之，我认为你可以用一个函数groupby和调用.transform()来实现你想要的。

def do_regression(y):
    X=np.array(range(len(y))).reshape(len(y),1)
    regr.fit(X,y)
    return regr.predict(X)
df_regressed = df2.groupby(level=[0,1]).transform(do_regression)
print df_regressed.head()
                       A         B
X 1 1997-01-31  0.779476 -1.222119
    1997-02-28  0.727184 -1.138630
    1997-03-31  0.674892 -1.055142
    1997-04-30  0.622601 -0.971653
    1997-05-31  0.570309 -0.888164

匹配df_result输出。

print df_result.head()
                       A         B
X 1 1997-01-31  0.779476 -1.222119
    1997-02-28  0.727184 -1.138630
    1997-03-31  0.674892 -1.055142
    1997-04-30  0.622601 -0.971653
    1997-05-31  0.570309 -0.888164

哦，还有几个选项:

X=np.array(range(len(y))).reshape(len(y),1)
1.) X = np.expand_dims(range(len(y)), axis=1)
2.) X = np.arange(len(y))[:,np.newaxis]

编辑空数据

ok 2个建议:

是否合法使用插值方法来填充空值?

df2 = df2.interpolate()

或

对非空值进行回归，然后在适当的索引位置弹出空值

   def do_regression(y):
        x_s =np.arange(len(y))
        x_s_non_nulls =  x_s[y.notnull().values]
        x_s_non_nulls = np.expand_dims(x_s_non_nulls, axis=1)
        y_non_nulls = y[y.notnull()]  # get the non nulls
        regr.fit(x_s_non_nulls,y_non_nulls)  # regression
        results = regr.predict(x_s_non_nulls)
        #pop back in then nulls.
        for idx in np.where(y.isnull().values ==True):
            results = np.insert(results,idx,np.NaN)
        return results