那么我的NumPy数组是这样的
npfinal =
[[1, 3, 5, 0, 0, 0],
[5, 2, 4, 0, 0, 0],
[7, 7, 2, 0, 0, 0],
.
.
.
我正在使用的样本数据集是25k行。
前3列包含有意义的数据,其余为百分位数的占位符。
所以我需要a[0][0] 相对于a[0][3]中的整个第一列的百分位数。所以1的百分位数在列[1,5,7,…]我的第一次尝试是:
import scipy.stats as ss
...
numofcols = 3
for row in npfinal:
for i in range(0,numofcols):
row[i+numofcols] = int(round(ss.percentileofscore(npfinal[:,i], row[i])))
但是这花费了太多的时间;在一个完整的数据集上,这是不可能的。
我对这么大的数据集的计算世界很陌生,所以任何形式的帮助都会很感激。
我找到了一个解决方案,我相信当数组中有重复的值时效果更好:
import numpy as np
from scipy import stats
# some array with repeated values:
M = np.array([[1, 7, 2], [5, 2, 2], [5, 7, 2]])
# calculate percentiles applying scipy rankdata to each column:
percentile = np.apply_along_axis(sp.stats.rankdata, 0, M, method='average')/len(M)
np。Argsort解决方案的问题是,它给相同值的重复不同的百分位数。例如,如果你有:
percentile_argsort = np.argsort(np.argsort(M, axis=0), axis=0) / float(len(M)) * 100
percentile_rankdata = np.apply_along_axis(sp.stats.rankdata, 0, M, method='average')/len(M)
两种不同的方法将输出结果:
M
array([[1, 7, 2],
[5, 2, 2],
[5, 7, 2]])
percentile_argsort
array([[ 0. , 33.33333333, 0. ],
[ 33.33333333, 0. , 33.33333333],
[ 66.66666667, 66.66666667, 66.66666667]])
percentile_rankdata
array([[ 0.33333333, 0.83333333, 0.66666667],
[ 0.83333333, 0.33333333, 0.66666667],
[ 0.83333333, 0.83333333, 0.66666667]])
您可以通过对数组进行排序并将结果索引除以总行数(假设NumPy可用)来计算百分位数:
import numpy as np
M = np.array([[1, 3, 5], [5, 2, 4], [7, 7, 2]])
percentile = np.argsort(np.argsort(M, axis=0), axis=0) / float(len(M)) * 100
print "M:n", M
print "percentile:n", percentile
输出:M:
[[1 3 5]
[5 2 4]
[7 7 2]]
percentile:
[[ 0. 33.33333333 66.66666667]
[ 33.33333333 0. 33.33333333]
[ 66.66666667 66.66666667 0. ]]
现在只需要将结果和原始数组连接起来。