NumPy中的矢量化成对列元素乘积

Question

我有两个数据帧：

>>> d1
A  B
0   4  3
1   5  2
2   4  3
>>> d2
C  D  E
0   1  4  7
1   2  5  8
2   3  6  9
>>> what_I_want
AC  AD  AE  BC  BD  BE
0   4   16  28  3   12  21
1   10  25  40  4   10  16
2   12  24  36  9   18  27

两个数据帧具有相同的行数(比如m(，但具有不同的列数(比如ncol_1，ncol_2(。输出为m by(ncol_1*ncol_2(DataFrame。每一列都是d1中的一列和d2中的一柱的乘积。

我遇到了np.kron，但它并没有完全达到我想要的效果。我的实际数据有数百万行。

我想知道是否有任何矢量化的方法可以做到这一点？我目前有一个itertools.product实现，但是速度非常慢。

Answer 1

带有NumPy-broadcasting-的一个

a = d1.to_numpy(copy=False) # d1.values on older pandas versions
b = d2.to_numpy(copy=False)
df_out = pd.DataFrame((a[:,:,None]*b[:,None,:]).reshape(len(a),-1))
df_out.columns = [i+j for i in d1.columns for j in d2.columns]

对于大数据，利用multi-cores和numexpr-

import numexpr as ne
out = ne.evaluate('a3D*b3D',{'a3D':a[:,:,None],'b3D':b[:,None]}).reshape(len(a),-1)
df_out = pd.DataFrame(out)

Answer 2

IIUC，用于循环并不总是坏的，检查

pd.DataFrame({x+y: df1[x]*df2[y]  for x in df1 for y in df2})
Out[81]: 
AC  AD  AE  BC  BD  BE
0   4  16  28   3  12  21
1  10  25  40   4  10  16
2  12  24  36   9  18  27