在大型矩阵上计算时,MD会悬挂



我试图将尺寸从64535 x 67矩阵降低到64535 x 2矩阵的2个维度。我不确定为什么下面的拟合变换计算是什么原因挂起的,除了这是一个大矩阵和大量减少的事实。MDS不具备处理如此大的矩阵/减少矩阵吗?有解决方法吗?

temp = df.select_dtypes(include=[np.number])
norm = (temp - temp.mean())/temp.std()
mds = sklearn.manifold.MDS(n_components=2, eps=0)
data2d = mds.fit_transform(norm)

mds具有O(n^3(复杂性,它可能不是悬挂但仍在运行。查看以下论文的第3节。MD会在大型矩阵上执行,但这需要大量时间。我不知道您要降低维度的方法,但是如果您只是在寻找速度,我会建议某种类型的随机预测(仍然可以很好地工作(。

http://web.mit.edu/cocosci/papers/nips02-localglobal-in-press.pdf

相关内容

  • 没有找到相关文章

最新更新