将大于内存的数据写入Matlab中的HDF5文件

Question

我想将Matlab中的大型数据集矩阵120964x50176（H5T_IEEE_F32LE）保存为HDF5文件。我无法一次将数据集加载到内存中。我将其拆分为多个文件，大小分别为108x50176、141x50176和148x50176。我想把它保存在大小为120964x50176的HDF5文件中的同一数据集中。

似乎没有太多关于这方面的文件。我在写一些代码，但由于块不相等，这似乎不是正确的方向。如何以行的形式写入此数据集？

dims = [120964 50176];
chunk_size = min([100 50176], dims);
fileID = H5F.create('test_features.h5');
dsetname = 'features';
datatypeID = H5T.copy('H5T_IEEE_F32LE');
dataspaceID = H5S.create_simple(2,fliplr(dims),fliplr(dims));
plistID = H5P.create('H5P_DATASET_CREATE');
H5P.set_chunk(plistID, fliplr(chunk_size));
datasetID = H5D.create(fileID, dsetname, datatypeID, dataspaceID, plistID);
rows_seen = 0;
for i=1:size(testset,1)
    filename = strcat('/datasets/',sprintf('%.6d',imdb.testset(i)),'.mat');
    load(filename);
    H5D.write(datasetID,'H5ML_DEFAULT','H5S_ALL','H5S_ALL','H5P_DEFAULT',feat);
    clear('feat');
    rows_seen = rows_seen + frames(i);
end
H5D.close(datasetID);
H5F.close(fileID);

Answer 1

匹配文件v7.3是gzip压缩的HDF5文件。您可以使用h5py和任何其他在.中编译的支持gzip的库来加载它们

matfile的优点在于它的简单用法：

%open
m = matfile(filename,'Writable',1)
%insert some data
m.yourbigmatrix(1:200,1:300)=one_data_block
%get data
one_data_block=m.yourbigmatrix(1:123,1:300)