我有以下问题:我有一个大小为(m,200)
(m = 3683
( 的矩阵yj
,并且我有一个字典,对于每个键,返回一个 numpy 数组的行索引数组yj
(对于每个键,大小数组会改变,以防万一有人想知道(。
现在,我必须多次访问这个矩阵(大约 1M 次(,并且由于索引,我的代码变慢了(我已经分析了代码,此步骤需要 65% 的时间(。
这是我尝试过的:
- 首先,使用索引进行切片:
>> %timeit yj[R_u_idx_train[1]]
10.5 µs ± 79.7 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
变量R_u_idx_train
是具有行索引的字典。
- 我想也许布尔索引可能会更快:
>> yj[R_u_idx_train_mask[1]]
10.5 µs ± 159 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
R_u_idx_train_mask
是一个字典,它返回大小为m
的布尔数组,其中R_u_idx_train
给出的索引设置为 True。
- 我也试过
np.ix_
>> cols = np.arange(0,200)
>> %timeit ix_ = np.ix_(R_u_idx_train[1], cols); yj[ix_]
42.1 µs ± 353 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
- 我也试过
np.take
>> %timeit np.take(yj, R_u_idx_train[1], axis=0)
2.35 ms ± 88.7 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
虽然这看起来很棒,但事实并非如此,因为它给出了一个形状为(R_u_idx_train[1].shape[0], R_u_idx_train[1].shape[0])
的数组(应该是(R_u_idx_train[1].shape[0], 200)
(。我想我没有正确使用该方法。
- 我也试过
np.compress
>> %timeit np.compress(R_u_idx_train_mask[1], yj, axis=0)
14.1 µs ± 124 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
- 最后我尝试用布尔矩阵进行索引
>> %timeit yj[R_u_idx_train_mask2[1]]
244 µs ± 786 ns per loop (mean ± std. dev. of 7 runs, 1000 loops each)
那么,10.5 µs ± 79.7 ns per loop
是我能做的最好的事情吗?我可以尝试使用cython
但这似乎需要做很多工作才能索引......
多谢。
V.Ayrat 在评论中给出了一个非常聪明的解决方案。
>> newdict = {k: yj[R_u_idx_train[k]] for k in R_u_idx_train.keys()}
>> %timeit newdict[1]
202 ns ± 6.7 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)
无论如何,也许知道是否有办法使用numpy
加速它仍然很酷!