Python:KeyError: 0 - 从通过循环访问的数据帧子集创建列表的函数

Question

我有一个循环，它创建较大数据框的子集，然后将其用作分析函数的输入。此函数返回一个列表。我用打印件来查看它在哪里停止。因此，对于循环中的第一次运行，我可以看到子集，函数的列表输出，但是当它再次启动时，第二次运行，我看到第二个子集，但比在函数处，我得到以下错误：

<ipython-input-11-8f6203e297e3> in ssd(x, y)
      8 
      9     for i in range(x.shape[0]):
---> 10         spread_cumdiff += (x[i] - y[i]) **2
     11 
     12     return spread_cumdiff

请注意，上面的部分是下面python错误"之前"的最后一部分。事实上，上面还有 2 个类似的块，即函数 a( 它包含函数 b(，其中包含上面的块。

~/anaconda3/envs/thesis/lib/python3.5/site-packages/pandas/core/series.py in __getitem__(self, key)
    621         key = com._apply_if_callable(key, self)
    622         try:
--> 623             result = self.index.get_value(self, key)
    624 
    625             if not is_scalar(result):
~/anaconda3/envs/thesis/lib/python3.5/site-packages/pandas/core/indexes/base.py in get_value(self, series, key)
   2558         try:
   2559             return self._engine.get_value(s, k,
-> 2560                                           tz=getattr(series.dtype, 'tz', None))
   2561         except KeyError as e1:
   2562             if len(self) > 0 and self.inferred_type in ['integer', 'boolean']:
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_value()
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_value()
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()
pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.Int64HashTable.get_item()
pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.Int64HashTable.get_item()
KeyError: 0

我有这样的东西：

df_test = pd.DataFrame(np.random.randint(low=0, high=10, size=(5, 5)),
                    columns=['a', 'b', 'c', 'd', 'e'], 
                    index = ['20100101', '20100102', '20100103', '20100104', '20100105']
dfs = []
N = 3
for x in np.arange(len(df_test)+1)[N:]:
    df1 = df_test.iloc[np.arange(x - N, x)]
    test_list = myfunc(df1) # it takes in df1, makes some computation and returns a
                            # list of 2-element tuples, i.e. [('a', 'b'), ('d', 'e')]

编辑：请参阅下面的功能：

def ssd(x, y):
    spread_cumdiff = 0
    for i in range(x.shape[0]):
        #print("x_i", x[i])
        #print("y_i", y[i])
        spread_cumdiff += (x[i] - y[i]) **2
    return spread_cumdiff

我尝试使用打印功能，但在循环的第二次运行中它甚至没有走那么远。

def pairs_match(df, p):
    df_norm = df.assign(**df.drop('datetime', 1).pipe(lambda d: d.div(d.shift().bfill()).cumprod()))
    df_norm = df_norm.replace([np.inf, -np.inf], np.nan)
    df_norm.fillna(method = 'ffill', inplace = True)
    df_norm.fillna(method = 'bfill', inplace = True)
    ticker = df_norm.columns.values.tolist()
    ticker.pop(0)
    ticker_list = pd.DataFrame({'ticker': ticker})
    # to be implemented: if length of list list <2, then skip the entire run! 
    all_pairs = list(itertools.permutations(ticker_list.ticker, 2))
    squared = []
    presel_pairs = []
    for i in all_pairs:
        squared.append(ssd(df_norm[i[0]].head(n = train_win), df_norm[i[1]].head(n = train_win)))   # ssd(x,y) function from above
    tbl_dist = pd.DataFrame({'Pair' : all_pairs, 'SSD' : squared})
    ssd_perctl = p
    ssd_thresh = stats.scoreatpercentile(tbl_dist['SSD'], ssd_perctl)
    presel_pairs = tbl_dist[tbl_dist['SSD'] <= ssd_thresh]
    presel_pairs_list = presel_pairs['Pair']
    presel_pairs_list = presel_pairs_list.reset_index(drop = True)
    return presel_pairs_list      

def pairs_match(df, p)返回一个列表，然后在另一个函数中使用。

Answer 1

尝试打印x[i]并单独y[i]，以便您知道 2 个中的哪一个导致密钥错误。另外，请发布该功能，因为没有它，我们不知道发生了什么。

Answer 2

正如所想的那样，问题确实出在累积更新功能上。我重写了函数如下：

def ssd(x, y):
    spread_diff_sq = np.subtract(x, y) **2
    spread_diff_sq_cum = spread_diff_sq.cumsum()
    spread_cumdiff = spread_diff_sq_cum.iloc[-1]
    return spread_cumdiff

这并没有触及问题的根源，但它避免了循环。