我一直面临以下问题：我必须在num_objects = 897对象上循环，对于每一个对象，我都必须使用num_files = 2120h5文件。这些文件非常大，每个都是1.48GB，我感兴趣的内容是每个文件中包含的3个大小为256 x 256 x 256的浮点数组(v1、v2和v3(。也就是说，循环看起来像：
for i in range(num_objects):
...
for j in range(num_files):
some operation with the three 256 x 256 x 256 arrays in each file
我目前加载它们的方式是在最内部的循环中执行以下操作：
f = h5py.File('output_'+str(q)+'.h5','r')
key1 = np.array(f['key1'])
v1=key1[:,:,:,0]
v2=key2[:,:,:,1]
v3=key3[:,:,:,2]
上述每次为每个对象加载文件的选项显然非常缓慢。另一方面，一次加载所有文件并将其导入字典会导致内存过度使用，我的工作也会被终止。一些诊断：
- 以上方法每个文件、每个对象花费0.48秒，导致仅此操作总共花费10.5天(！(
- 我尝试将
key1导出到npz文件，但实际上每个文件慢0.7秒 - 我将每个文件的
v1、v2和v3分别导出到npz文件(即每个h5文件有3个npz文件(，但总共只节省了1.5天
有人有其他想法/建议吗？我可以尝试快速，同时不受过度内存使用的限制？
如果我理解的话，您有2120.h5个文件。对于每个文件，您是否只读取数据集f['key1']中的3个数组？(或者还有其他数据集吗？(如果你只/总是读f['key1']，这是一个无法编程的瓶颈。使用SSD会有所帮助(因为I/O比HDD快(。否则，您将不得不重新组织数据。系统上的RAM数量将决定您可以同时读取的阵列数量。你有多少内存？
您可能会通过一个小的代码更改获得一点速度。v1=key1[:,:,:,0]返回v1作为一个数组(与v2和v3相同(。不需要将数据集f['key1']读取到数组中。这样做会使你的内存占用增加一倍。(顺便说一句，有没有理由将数组转换为字典？(
下面的过程仅通过从h5pyf['key1']对象切片v1,v2,v3来创建3个数组。它将使每个循环的内存占用减少50%。
f = h5py.File('output_'+str(q)+'.h5','r')
key1 = f['key1']
## key1 is returned as a h5py dataset OBJECT, not an array
v1=key1[:,:,:,0]
v2=key2[:,:,:,1]
v3=key3[:,:,:,2]
在HDF5方面，由于您总是切出最后一个轴，因此块参数可能会改进I/O。但是，如果要更改块形状，则必须重新创建.h5文件。因此，这可能不会节省时间(至少在短期内(。
同意@kcw78的观点，根据我的经验，瓶颈通常是加载的数据与所需数据相比过多。因此，除非需要，否则不要将数据集转换为数组，只对所需的部分进行切片(您需要整个[:,:,0]还是只需要它的一个子集？(。
此外，如果可以的话，可以更改循环的顺序，使每个文件只打开一次。
for j in range(num_files):
...
for i in range(num_objects):
some operation with the three 256 x 256 x 256 arrays in each file
另一种方法是使用外部工具(如h5copy(在一个小得多的数据集中提取所需的数据，然后在python中读取，以避免python的开销(老实说，这可能没有那么大(。
最后，只要任务彼此相对独立，就可以使用多处理来利用CPU核心。这里有一个例子。
h5py是一个数据表示类，它支持大多数NumPy数据类型，并支持切片等传统NumPy操作，以及各种描述性属性，如形状和大小属性。
有一个很酷的选项，您可以使用create_dataset方法在启用chunked关键字的情况下将数据集表示为块：
dset=f.create_dataset("分块"，(10001000(，分块=(100100((
这样做的好处是，您可以轻松地调整数据集的大小，现在就像您的情况一样，您只需要读取一个区块，而不需要读取整个1.4GB的数据。
但要注意分块的含义：不同的数据大小在不同的分块大小下效果最好。有一个自动拦截选项，可以自动选择这个区块大小，而不是通过点击和试用：
dset=f.create_dataset("autochunk"，(10001000(，chunks=True(
为欢呼