在 Python 中索引 HDF5 数据集时出现"Cannot create cython.array from NULL pointer"错误

Question

我正在使用h5py包从HDF5文件中提取数据，并使用Python对其进行操作。存在一个称为"；身体；在文件h5Test.pph中，所以我首先设置了：

import h5py
f = h5py.File('h5Test.pph', 'r')
bodies = f['Bodies']

从那里我可以访问bodies中的大多数索引(例如0、4、1000(，但由于某种原因，bodies[2]和bodies[3]导致了这个错误

ValueError: Cannot create cython.array from NULL pointer

我已经使用h5dump命令行工具来确认这些条目存在，并且数据看起来没有什么奇怪的。我是HDF5文件和发布堆栈溢出的新手，所以请告诉我是否有任何有用的额外信息。

编辑以获取更多信息：

numpy.shape(bodies)返回

(10689,)

numpy.dtype(bodies)返回

dtype({'names':['ID','Name','Orientation','Color','Position','Velocity','Angular velocity','Change in w in body frame','Force','Torque','Additional force','Temperature','Angular momentum','Principal moments of inertia','Mass','Volume','Scale','Shape','Group','Material','Mode','Lua control functions','Monitored','Stress'], 'formats':[[('ID', '<i8')],[('data', 'O')],[('x', '<f4'), ('y', '<f4'), ('z', '<f4'), ('w', '<f4')],[('red', '<f4'), ('green', '<f4'), ('blue', '<f4'), ('alpha', '<f4')],[('x', '<f4'), ('y', '<f4'), ('z', '<f4')],[('x', '<f4'), ('y', '<f4'), ('z', '<f4')],[('x', '<f4'), ('y', '<f4'), ('z', '<f4')],[('x', '<f4'), ('y', '<f4'), ('z', '<f4')],[('x', '<f4'), ('y', '<f4'), ('z', '<f4')],[('x', '<f4'), ('y', '<f4'), ('z', '<f4')],[('x', '<f4'), ('y', '<f4'), ('z', '<f4')],'<f4',[('x', '<f4'), ('y', '<f4'), ('z', '<f4')],[('x', '<f4'), ('y', '<f4'), ('z', '<f4')],'<f4','<f4','<f4',[('ID', '<i8')],[('ID', '<i8')],[('ID', '<i8')],'<u4','O','u1',{'names':['[0, 0]','[0, 1]','[0, 2]','[1, 0]','[1, 1]','[1, 2]','[2, 0]','[2, 1]','[2, 2]'], 'formats':['<f4','<f4','<f4','<f4','<f4','<f4','<f4','<f4','<f4'], 'offsets':[0,12,24,4,16,28,8,20,32], 'itemsize':36}], 'offsets':[0,8,16,32,48,60,72,84,96,108,120,132,136,148,160,164,168,172,180,188,196,200,216,217], 'itemsize':253})

同样例如，bodies[0]返回

((1487,), (b'compactor_disk',), (0., 0., 0., 1.), (0.38671875, 0.38671875, 0.38671875, 0.5859375), (0., 0., 0.), (0., 0., 0.), (0., 0., 0.), (0., 0., 0.), (-0.72721094, 0.20889588, -41.384094), (0.01420393, 0.34127262, 0.05411187), (0., 0., 0.), 0., (0., 0., 0.), (2.5448524e-06, 2.5513377e-06, 4.367137e-06), 0.00292779, 3.9037224e-07, 10., (14954,), (1736,), (1738,), 16, array([(22769,)], dtype=[('ID', '<i8')]), 1, (1035920.44, -53857.83, 874206.7, 84758.26, 1571146.4, -36402.49, -16.688602, -17.05545, 553.0667))

使用命令h5dump -d Bodies h5Test.pph会产生相当长的输出，但产生错误的元素之一是：

(2): {
{
1489
},
{
"lid"
},
{
0,
0,
0,
1
},
{
0.386719,
0.386719,
0.386719,
0.585938
},
{
0,
0,
0.3
},
{
0,
0,
0
},
{
0,
0,
0
},
{
0,
0,
0
},
{
0,
0,
0
},
{
0,
0,
0
},
{
0,
0,
0
},
0,
{
0,
0,
0
},
{
2.59831e-06,
2.60443e-06,
4.41639e-06
},
0.00282375,
3.765e-07,
10,
{
15293
},
{
1736
},
{
1738
},
16,
(),
0,
{
0,
0,
0,
0,
0,
0,
0,
0,
0
}
},

Answer 1

让我们从一些HDF5和h5py的基础知识开始。当您输入bodies = f['Bodies']时，返回(bodies(是一个h5py数据集对象，其行为类似于NumPy数组。您可以从shape和dtype调用中获得数据集的详细信息。

该数据集类似于具有10689行异构数据的重新阵列。每个字段(列(的数据类型由一个包含2个键的字典定义：'names'和'formats'——它们作为一个配对列表工作。例如，字段1是一个名为'ID'的整数数组；字段2是一个名为'Name'的Python对象；字段3是一个由4个浮点组成的名为"Orientation"的数组，数组成员分别为：'x', 'y', 'z', 'w'。这将继续向下排列名称/格式对。有些字段要复杂得多：最后一个字段'Stress'引用了另一个字典，而'Lua control functions'是另一个Python对象。(HDF5支持不映射到标准NumPy数据类型的数据结构——在这种情况下，h5py在重新数组中使用它们——示例包括nd.arrays、Lists、Dictionaries等。(

因此，当您输入bodies[i]时，您正在从数据集中读取第i行数据。这就是bodies[0]的输出映射到数据集的方式：

bodies[0]['ID'] = 1487 
bodies[0]['Name'] = b'compactor_disk'
bodies[0]['Orientation'] = (0., 0., 0., 1.)

并且，根据h5dump的输出，bodies[2]的输出应该映射到数据集：

bodies[2]['ID'] = 1489
bodies[2]['Name'] = b'lid'
bodies[2]['Orientation'] = (0, 0, 0, 1) 
Note they look like ints and not floats - not sure if that is a problem.

正如@hpaulj所指出的，对于这两行，'Lua control functions'输出看起来有所不同。body[2]有一个长度为零的数组，这可能就是问题所在。

您可以单独访问每个字段/列中的数据(按名称(。创建一个循环，看看是否可以隔离出导致问题的字段。下面的代码是你可以做到这一点的方法：

with h5py.File('h5Test.pph', 'r') as h5f:
bodies = h5f['Bodies']
for field in bodies.dtype.names:
print('reading field:',field)
temp = bodies[field]