我正在编写一些python代码，这些代码可以生成适合未来EDA、BI和特征提取的数据帧。
我有一个数据帧，包含以下列：
party_id client_id date_st
0 pid1 clid1 2019-07-01
1 pid2 clid3 2019-06-15
2 pid3 clid3 2019-06-14
3 pid4 clid2 2019-07-01
4 pid5 clid2 2019-04-03
5 pid6 clid3 2019-04-03
6 pid7 clid1 2019-05-20
其中party_id是唯一的，其他列则不是。这意味着不止一个客户可以代表几个不同的方(即使在一个日期(。一方可以被视为特定客户的独特交易。
还有另一个数据帧：
fact_id client_id fact_date fact_sum
0 fid1 clid1 2018-06-02 24.37
1 fid2 clid1 2020-10-10 2.62
2 fid3 clid2 2016-01-04 47.52
3 fid4 clid3 2019-06-14 60.42
4 fid5 clid1 2019-04-03 32.77
5 fid6 clid2 2019-04-03 28.95
6 fid7 clid1 2019-05-20 46.49
7 fid8 clid2 2019-07-01 76.10
8 fid9 clid3 2018-12-15 85.27
9 fid10 clid1 2019-02-05 53.00
10 fid11 clid2 2017-03-18 19.25
11 fid12 clid3 2019-04-03 51.14
12 fid13 clid1 2019-02-08 56.89
13 fid14 clid2 2018-11-09 80.51
14 fid15 clid2 2019-08-15 68.08
其中fact_id是唯一的，其他列则不是。此表表示以前未与交易直接相关的客户购买情况。
我需要构建如下的新数据帧：对于应用程序中的每一个party_id，我都需要来自事实的行的子集，这些行在datest之前但不早于半年(可能会更改(。换言之，我需要在特定交易之前，在一个窗口中进行所有购买。
我不在乎对于两个不同的当事人，我是否在一次约会中得到了两个相同的客户ID——这很正常。客户一天可以进行两次不同的交易。我不需要任何聚合，因为这个数据帧将在tsfresh等框架中进行分析。
到目前为止，如果在应用程序['party_id']上迭代并连接过滤后的数据帧，我所处理的一切都是：
def parse_facts(app, facts, party_id, window):
clid = app[app['party_id']==party_id]['client_id'].values[0]
date_st = pd.to_datetime(app[app['party_id']==party_id]['date_st'].values[0])
temp_df = facts[
(facts['client_id']==clid)&
(facts['fact_date']<date_st)&
(facts['fact_date']>=date_st+datetime.timedelta(days=-window))].copy()
temp_df['party_id'] = party_id
return temp_df
new_facts = pd.concat([parse_facts(app, facts, i, 180) for i in app['party_id'].values], ignore_index=True)
生成的数据帧应该看起来像：
new_facts[['party_id', 'client_id', 'fact_date', 'fact_sum']]
party_id client_id fact_date fact_sum
0 pid1 clid1 2019-04-03 32.77
1 pid1 clid1 2019-05-20 46.49
2 pid1 clid1 2019-02-05 53.00
3 pid1 clid1 2019-02-08 56.89
4 pid2 clid3 2019-06-14 60.42
5 pid2 clid3 2019-04-03 51.14
6 pid3 clid3 2019-04-03 51.14
7 pid4 clid2 2019-04-03 28.95
8 pid5 clid2 2018-11-09 80.51
9 pid6 clid3 2018-12-15 85.27
10 pid7 clid1 2019-04-03 32.77
11 pid7 clid1 2019-02-05 53.00
12 pid7 clid1 2019-02-08 56.89
我已经设法解决了这个任务，但它在整个数据集上的性能非常差：5万个独特的参与者和1100万个独特事实。这导致我的机器(96核，512 gb内存(在一个线程中进行数天的计算。
你能提出任何改进和重构代码的方法吗？我知道循环是不好的风格，但我不知道如何避免这个任务中的循环。
先通过client_id合并数据帧，然后过滤掉坏行怎么样？
import pandas as pd
from datetime import timedelta
app['date_bg'] = app['date_st'] - timedelta(days=180)
df = pd.merge(facts, app)
df_c = (df['fact_date'] > df['date_bg']) & (df['fact_date'] < df['date_st'])
out = df[df_c][['party_id', 'client_id', 'fact_date', 'fact_sum']]
print(out.sort_values('party_id'))
编辑：
我想到的更高效的内存解决方案：
start_date = datetime(2019, 1, 1)
outs = []
for i in range(12):
start = start_date + timedelta(days=i*31)
start_f = start - timedelta(days=180)
end = start_date + timedelta(days=(i+1)*31)
app_sub = app[(app['date_st'] > start) & (app['date_st'] <= end)]
facts_sub = facts[(facts['fact_date'] > start_f) & (facts['fact_date'] <= end)]
df = pd.merge(facts_sub, app_sub)
df_c = (df['fact_date'] > df['date_bg']) & (df['fact_date'] < df['date_st'])
out = df[df_c][['party_id', 'client_id', 'fact_date', 'fact_sum']]
outs.append(out)
out = pd.concat(outs)
print(out.sort_values('party_id'))
它根据日期将数据帧划分为更小的块，因此不会有任何重复。合并后的数据帧会更小，可以连接到最终输出中。