数据框中列的配对差异，以生成包含 130 万列的数据帧

Question

我有一个包含 1600 列的数据帧。

数据帧df类似于列名1, 3 , 2的位置：

Row Labels  1   3   2
41730Type1  9   6   5
41730Type2  14  12  20
41731Type1  2   15  5
41731Type2  3   20  12
41732Type1  8   10  5
41732Type2  8   18  16

我需要以python方式df2创建以下数据帧：

Row Labels  (1, 2)  (1, 3)  (2, 3)
41730Type1  -4      -3       1
41730Type2  6       -2       -8
41731Type1  3       13       10
41731Type2  9       17        8
41732Type1  -3      2         5
41732Type2  8       10        2

其中，例如column (1, 2)由df[2] - df[1]创建

df2的列名是通过配对df1的列标题来创建的，使得每个名称的第二个元素大于第一个元素，例如(1, 2), (1, 3), (2, 3)

第二个挑战是熊猫数据帧能否支持 130 万列？

Answer 1

我们可以对列执行combinations，然后创建dict并将其concat回来

import itertools
l=itertools.combinations(df.columns,2)
d={'{0[0]}|{0[1]}'.format(x) : df[x[0]]-df[x[1]] for x in [*l]  }
newdf=pd.concat(d,axis=1)
1|3  1|2  3|2
RowLabels                
41730Type1    3    4    1
41730Type2    2   -6   -8
41731Type1  -13   -3   10
41731Type2  -17   -9    8
41732Type1   -2    3    5
41732Type2  -10   -8    2

Answer 2

迭代工具组合似乎是显而易见的选择，与@YOBEN_S相同，使用 numpy 数组和字典获得解决方案的不同途径

from itertools import combinations
new_data = combinations(df.to_numpy().T,2)
new_cols = combinations(df.columns, 2)
result = {key : np.subtract(arr1,arr2)
if key[0] > key[1]
else np.subtract(arr2,arr1)
for (arr1, arr2), key
in zip(new_data,new_cols)}
outcome = pd.DataFrame.from_dict(result,orient='index').sort_index().T
outcome

(1, 2)  (1, 3)  (3, 2)
0   -4       -3       1
1    6       -2      -8
2    3       13      10
3    9       17       8
4   -3       2        5
5    8      10        2