在磁盘上使用大型阵列

Question

我需要与具有超过1亿个细胞的大型二维双阵列一起工作。首先需要填充矩阵，然后通过取一行或一列来操纵。矩阵的大小可能大于1 trabyte，并且在内存中找不到。

如何有效地存储阵列？主要操作是快速将其从内存行（每行）（每个[100k]）中的存储器节省，然后快速读取到一行或一列的内存。

Answer 1

您可以使用内存映射的文件。本质上，您仍在使用数组，但允许内核选择将哪些部分加载到内存中。您也可以使用固定的大小缓冲区来读取内存映射文件的整个部分。