h5py 将虚拟数据集读取到 NumPy 数组中时出错

Question

我正在尝试从使用 h5py 创建的虚拟 HDF 数据集加载数据，但在正确加载数据时遇到了一些麻烦。

这是我的问题的示例：

import h5py
import tools as ut
virtual  = h5py.File(ut.params.paths.virtual)
a = virtual['part2/index'][:]
print(virtual['part2/index'][-1])
print(a[-1])

这输出：

[890176134]
[0]

为什么？为什么将数据复制到 NumPy 数组(值 =[0])与直接从数据集读取时(值 =[890176134])时最后一个元素不同？

我是否在不知不觉中做了一件可怕的错误？

多谢。

Answer 1

是的，您应该从虚拟数据集或从虚拟数据集创建的数组中获取相同的值。如果没有有关数据的更多详细信息，则很难诊断错误。

我使用 h5py 示例vds_simple.py来演示它应该如何表现。大多数代码构建 HDF5 文件。末尾的部分比较输出。下面的代码从示例中修改，以创建可变数量的源文件(由a0=定义)。

使用示例数据创建"a0"源文件的代码：

a0 = 5000
# create sample data
data = np.arange(0, 100).reshape(1, 100)
# Create source files (0.h5 to a0.h5)
for n in range(a0):
with h5py.File(f"{n}.h5", "w") as f:
row_data = data + n
f.create_dataset("data", data=row_data)

用于定义虚拟布局和组合虚拟数据集的代码：

# Assemble virtual dataset
layout = h5py.VirtualLayout(shape=(a0, 100), dtype="i4")
for n in range(a0):
filename = "{}.h5".format(n)
vsource = h5py.VirtualSource(filename, "data", shape=(100,))
layout[n] = vsource
# Add virtual dataset to output file
with h5py.File("VDS.h5", "w", libver="latest") as f:
f.create_virtual_dataset("vdata", layout)

读取和打印数据的代码：

# read data back
# virtual dataset is transparent for reader!
with h5py.File("VDS.h5", "r") as f:
arr = f["vdata"][:]
print("nFirst 10 Elements in First Row:")
print("Virtual dataset:")
print(f["vdata"][0, :10])
print("Reading vdata into Array:")
print(arr[0, :10])
print("Last 10 Elements of Last Row:")
print("Virtual dataset:")
print(f["vdata"][-1,-10:])
print("Reading vdata into Array:")
print(arr[-1,-10:])    

上述代码的输出(w/a0=5000)：

First 10 Elements in First Row:
Virtual dataset:
[0 1 2 3 4 5 6 7 8 9]
Reading vdata into Array:
[0 1 2 3 4 5 6 7 8 9]
Last 10 Elements of Last Row:
Virtual dataset:
[5089 5090 5091 5092 5093 5094 5095 5096 5097 5098]
Reading vdata into Array:
[5089 5090 5091 5092 5093 5094 5095 5096 5097 5098]