如何在Pandas MultiIndex DataFrame中使用以前的值进行计算

Question

我有以下MultiIndex数据帧。

Close     ATR     
Date          Symbol     
1990-01-01    A          24        2       
1990-01-01    B          72        7      
1990-01-01    C          40        3.4 
1990-01-02    A          21        1.5     
1990-01-02    B          65        6        
1990-01-02    C          45        4.2   
1990-01-03    A          19        2.5    
1990-01-03    B          70        6.3       
1990-01-03    C          51        5 

我想计算三列：

• Shares=前一天的Equity*0.02/ATR，四舍五入为整数

• Profit=Shares*Close

• Equity=前一天的Equity+每个Symbol的Profit之和

Equity的初始值为10000。

预期输出为：

Close     ATR     Shares     Profit     Equity
Date          Symbol     
1990-01-01    A          24        2       0          0          10000
1990-01-01    B          72        7       0          0          10000
1990-01-01    C          40        3.4     0          0          10000
1990-01-02    A          21        1.5     133        2793       17053
1990-01-02    B          65        6       33         2145       17053
1990-01-02    C          45        4.2     47         2115       17053
1990-01-03    A          19        2.5     136        2584       26885
1990-01-03    B          70        6.3     54         3780       26885
1990-01-03    C          51        5       68         3468       26885

我想我需要一个for loop或function应用于每一行。我有两个问题。一个是，在MultiIndex数据帧的情况下，我不确定如何为该逻辑创建for loop。第二个原因是我的数据帧很大(大约有1000万行(，所以我不确定for loop是否是个好主意。但是，我该如何创建这些列呢？

Answer 1

这个解决方案肯定可以清理，但会产生您想要的输出。我已经在构建示例数据帧时包含了您的初始条件：

import pandas as pd
import numpy as np
df = pd.DataFrame({'Date': ['1990-01-01','1990-01-01','1990-01-01','1990-01-02','1990-01-02','1990-01-02','1990-01-03','1990-01-03','1990-01-03'],
'Symbol': ['A','B','C','A','B','C','A','B','C'],
'Close': [24, 72, 40, 21, 65, 45, 19, 70, 51],
'ATR': [2, 7, 3.4, 1.5, 6, 4.2, 2.5, 6.3, 5],
'Shares': [0, 0, 0, np.nan, np.nan, np.nan, np.nan, np.nan, np.nan],
'Profit': [0, 0, 0, np.nan, np.nan, np.nan, np.nan, np.nan, np.nan]})

提供：

Date Symbol  Close  ATR  Shares  Profit
0  1990-01-01      A     24  2.0     0.0     0.0
1  1990-01-01      B     72  7.0     0.0     0.0
2  1990-01-01      C     40  3.4     0.0     0.0
3  1990-01-02      A     21  1.5     NaN     NaN
4  1990-01-02      B     65  6.0     NaN     NaN
5  1990-01-02      C     45  4.2     NaN     NaN
6  1990-01-03      A     19  2.5     NaN     NaN
7  1990-01-03      B     70  6.3     NaN     NaN
8  1990-01-03      C     51  5.0     NaN     NaN

然后将groupby()与apply()一起使用，并在全球范围内跟踪您的Equity。我花了一秒钟的时间才意识到，这个问题的本质要求您分别在两个独立的列上分组(Symbol和Date(：

start = 10000
Equity = 10000
def calcs(x):
global Equity
if x.index[0]==0: return x #Skip first group
x['Shares'] = np.floor(Equity*0.02/x['ATR'])
x['Profit'] = x['Shares']*x['Close']
Equity += x['Profit'].sum()
return x
df = df.groupby('Date').apply(calcs)
df['Equity'] = df.groupby('Date')['Profit'].transform('sum')
df['Equity'] = df.groupby('Symbol')['Equity'].cumsum()+start

这产生：

Date Symbol  Close  ATR  Shares  Profit   Equity
0  1990-01-01      A     24  2.0     0.0     0.0  10000.0
1  1990-01-01      B     72  7.0     0.0     0.0  10000.0
2  1990-01-01      C     40  3.4     0.0     0.0  10000.0
3  1990-01-02      A     21  1.5   133.0  2793.0  17053.0
4  1990-01-02      B     65  6.0    33.0  2145.0  17053.0
5  1990-01-02      C     45  4.2    47.0  2115.0  17053.0
6  1990-01-03      A     19  2.5   136.0  2584.0  26885.0
7  1990-01-03      B     70  6.3    54.0  3780.0  26885.0
8  1990-01-03      C     51  5.0    68.0  3468.0  26885.0

Answer 2

你能尝试使用shift和groupby吗？一旦获得了上一行的值，所有列操作都将直接进行。

table2['previous'] = table2['close'].groupby('symbol').shift(1)
table2
date    symbol      close   atr     previous
1990-01-01  A   24  2   NaN
B   72  7   NaN
C   40  3.4     NaN
1990-01-02  A   21  1.5     24
B   65  6   72
C   45  4.2     40
1990-01-03  A   19  2.5     21
B   70  6.3     65
C   51  5   45