>问题描述
我有 45000 个短时间序列(长度为 9(，并且想计算聚类分析的距离。我意识到这将导致(下三角形(大小为 45000x45000 的矩阵，该矩阵拥有超过 20 亿个条目。不出所料，我得到：
> proxy::dist(ctab2, method="euclidean")
Error: cannot allocate vector of size 7.6 Gb
我能做什么？
想法
- 以某种方式增加可用/可寻址内存？但是，这些7.6G可能超出了一些无法扩展的硬限制？在任何情况下，系统都有 16GB 内存和相同数量的交换。通过"Gb"，R似乎意味着技嘉，而不是千兆位，所以7.6Gb已经危险地接近硬性限制。
- 也许另一种距离计算方法而不是欧几里得，比如 DTW，可能更节省内存？但是，如下所述，内存限制似乎是生成的矩阵，而不是计算时所需的内存。
将数据集拆分为 N 个块，并以 N^2 个部分(实际上只有那些与下三角形相关的部分(计算矩阵，以后可以重新组装？(这可能类似于此处提出的类似问题的解决方案。不过，这似乎是一个相当混乱的解决方案。此外，无论如何，我最终都需要 45K x 45K 矩阵。然而，这似乎达到了极限。系统还会在生成 45K x 45K 随机矩阵时给出内存分配错误：
>N=45000; memorytestmatrix <- matrix( rnorm(N*N,mean=0,sd=1), N, N) Error: cannot allocate vector of size 15.1 Gb30K x 30K 矩阵是可能的，没有问题，R 给出的结果大小为
>print(object.size(memorytestmatrix), units="auto") 6.7 Gb再多 1 Gb，似乎一切都会好起来的。可悲的是，我没有任何可以删除以腾出空间的大型对象。此外，具有讽刺意味的是，
>system('free -m') Warning message: In system("free -m") : system call failed: Cannot allocate memory我不得不承认，我不太确定为什么R拒绝分配7.6 Gb;系统肯定有更多的内存，尽管不是更多。
ps aux将 R 进程显示为单个最大的内存用户。也许即使有更多可用内存，R 可以处理多少内存也存在问题？
相关问题
- 与 R 内存不足相关的其他问题的答案(如本问题(建议使用更节省内存的计算方法。
- 这个非常有用的答案建议删除其他大型对象，以便为内存密集型操作腾出空间。
- 在这里，建议按块拆分数据集和计算距离的想法。
软件和版本
R 版本是 3.4.1。系统内核是Linux 4.7.6，x86_64(即64位(。
> version
_
platform x86_64-pc-linux-gnu
arch x86_64
os linux-gnu
system x86_64, linux-gnu
status
major 3
minor 4.1
year 2017
month 06
day 30
svn rev 72865
language R
version.string R version 3.4.1 (2017-06-30)
nickname Single Candle
编辑(8月27日(：更多信息
- 将 Linux 内核更新到 4.11.9 不起作用。
- bigmemory包也可能内存不足。它使用共享内存，默认情况下系统(但取决于配置(允许 RAM 大小的一半
/dev/shm/。您可以在运行时通过执行(例如(mount -o remount,size=12Gb /dev/shm来增加此值，但这仍然可能不允许使用 12Gb。 (我不知道为什么，也许当时内存管理配置不一致(。此外，如果您不小心，您最终可能会使系统崩溃。 - R显然实际上允许访问完整的RAM，并且可以创建最大大小的对象。对于特定功能(例如
dist(似乎失败了。我会加上这个作为答案，但我的结论有点基于猜测，所以我不知道这在多大程度上是正确的。
R显然实际上允许访问完整的RAM。这工作得很好：
N=45000; memorytestmatrix <- matrix(nrow=N, ncol=N)
这与我之前尝试过的方法相同，如原始问题中所述，但使用 NA 矩阵而不是rnorm随机变量。将矩阵中的一个值重新赋值为浮点型(memorytestmatrix[1,1]<-0.5(仍然有效，并将矩阵重新转换为浮点矩阵。
因此，我想，你可以有一个这种大小的矩阵，但你不能按照dist函数尝试的方式做到这一点。一个可能的解释是，该函数使用该大小的多个对象进行操作，以加快计算速度。但是，如果逐个元素计算距离并就地更改值，则此方法有效。
library(mefa) # for the vec2dist function
euclidian <- function(series1, series2) {
return((sum((series1 - series2)^2))^.5)
}
mx = nrow(ctab2)
distMatrixE <- vec2dist(0.0, size=mx)
for (coli in 1:(mx-1)) {
for (rowi in (coli+1):mx) {
# Element indices in dist objects count the rows down column by column from left to righ in lower triangular matrices without the main diagonal.
# From row and column indices, the element index for the dist object is computed like so:
element <- (mx^2-mx)/2 - ((mx-coli+1)^2 - (mx-coli+1))/2 + rowi - coli
# ... and now, we replace the distances in place
distMatrixE[element] <- euclidian(ctab2[rowi,], ctab2[coli,])
}
}
(请注意，dist对象中的寻址有点棘手，因为它们不是矩阵，而是大小为(N²-N(/2的一维向量，重新转换为大小为 Nx N的下三角矩阵。如果我们以正确的顺序浏览行和列，也可以使用计数器变量来完成，但我想显式计算元素索引会更清晰。
另请注意，可以通过一次计算多个值来利用sapply来加快此过程。
存在不需要内存中全距离矩阵的良好算法。
例如，SLINK和DBSCAN和OPTICS。