Python:添加包含列元元素成对产物的列的最快方法

Question

假设我有一个numpy Array

X = np.array([[1,2,3],
              [4,5,6],
              [7,8,9]])

我想通过添加（在左侧）将所有可能的列对乘以产生的列来扩展此矩阵。在此示例中，它将成为

X = np.array([[1, 2, 3, 2, 6],
              [4,5,6,20,24,30],
              [7,8,9,56,63,72]])

第四列是X[:,0]和X[:,1]的产物，第五列是X[:,0]和X[:,2]的乘积，第六列是X[:,1]和X[:,2]的产物。

我的尝试

我想对此使用np.hstack。但是我也知道，使用循环会减慢所有内容，但是我不知道如何在没有循环的情况下正确地做到这一点。

for i in range(matrix.shape[1]-1):
    for j in range(matrix.shape[1])[i:]:
        matrix2 = np.hstack((matrix, (matrix[:,i]*matrix[:,j]).reshape(-1,1))).copy()

问题是它很慢，而且我必须使用其他矩阵，否则它将继续添加列。任何更好的主意？

Answer 1

方法＃1

使用np.triu_indices获取配对列索引。使用这些选择从列索引中获得的两组块中的输入数组获得。使用这些块执行元素乘法，并最终将它们与np.concatenate一起堆叠为新列。

因此，实现 -

n = X.shape[1]
r,c = np.triu_indices(n,1)
out0 = X[:,r] * X[:,c]
out = np.concatenate(( X, out0), axis=1)

方法＃2

为记忆效率及其性能，尤其是在大型数组中的性能，另一个是通过循环的配对组来启发this post的灵感 -

m,n = X.shape
N = n*(n-1)//2
idx = np.concatenate(( [0], np.arange(n-1,0,-1).cumsum() ))+n
start, stop = idx[:-1], idx[1:]
out = np.empty((m,n+N),dtype=X.dtype)
out[:,:n] = X
for j,i in enumerate(range(n-1)):
    out[:, start[j]:stop[j]] = X[:,i,None]*X[:,i+1:]

运行时测试

In [403]: X = np.random.randint(0,9,(10,100))
In [404]: %timeit app1(X)
     ...: %timeit app2(X)
     ...: 
1000 loops, best of 3: 277 µs per loop
1000 loops, best of 3: 350 µs per loop
In [405]: X = np.random.randint(0,9,(10,1000))
In [406]: %timeit app1(X)
     ...: %timeit app2(X)
     ...: 
10 loops, best of 3: 68.6 ms per loop
100 loops, best of 3: 12.5 ms per loop
In [407]: X = np.random.randint(0,9,(10,2000))
In [408]: %timeit app1(X)
     ...: %timeit app2(X)
     ...: 
1 loop, best of 3: 311 ms per loop
10 loops, best of 3: 44.8 ms per loop