如何在Fortran中模拟的每个时间步将大型数组(1D或2D)写入hdf5文件



我的模拟(用Fortran 90编写(在每个时间步长都会生成一个数组(1D,2D或3D(。我想将这些数组输出到一个 HDF5 文件中,其中包含为所有时间步长生成的数组。请注意,由于每个时间步的输出数组具有相同的秩和维度,因此可以通过添加额外的时间维度将这些数组组合在一起。

现在,我只创建一个缓冲数组来组合每个时间步的输出数组,然后在模拟结束时将缓冲数组写入 HDF5 文件中的数据集。但是,如果每个时间步的输出数组变大,则缓冲区只能在几个时间步长内保存数据。所以我需要每隔几个时间步将数据刷新到 HDF5。

我查看了许多帖子和文档,发现它们提到了一些技术,例如分块数据集和超板选择,以便有效地输出到HDF5。但我仍然不确定如何将这些应用于我的情况。有人可以给我举一个 Fortran 90 的例子吗?

在阅读了有关hyperslab的一些文档后,我获得了在每个时间步长写入hdf5文件的过程。以下是演示代码。希望你觉得它有用。

program test_hyperslab
use HDF5
implicit none
integer :: error  ! error flag
character(len=9), parameter :: filename = "subset.h5"
character(len=8), parameter :: dsetname = "IntArray"
integer(HID_T) :: file_id    ! file identifier
integer(HID_T) :: dset_id    ! dataset identifier
integer(HID_T) :: dataspace  ! dataspace identifier
integer(HID_T) :: memspace   ! memspace identifier
integer(HSIZE_T), dimension(2) :: dimsm = (/3, 1/)
integer, dimension(3) :: sdata    ! subset buffer
integer :: dim0_sub = 3
integer :: dim1_sub = 1
integer(HSIZE_T), dimension(2) :: count = (/3, 1/)
integer(HSIZE_T), dimension(2) :: offset
integer(HSIZE_T), dimension(2) :: stride = (/1, 1/)
integer(HSIZE_T), dimension(2) :: block = (/1, 1/)
integer(HSIZE_T), dimension(2) :: dimsf = (/3, 10/)
integer, dimension(3, 10) :: rdata    ! data to read
integer :: rank = 2
integer :: dim0 = 3
integer :: dim1 = 10
integer :: i
! initialize fortran interface
call h5open_f(error)
! create a new file with default properties
call h5fcreate_f(filename, H5F_ACC_TRUNC_F, file_id, error)
! create the data space for the dataset
call h5screate_simple_f(rank, dimsf, dataspace, error)
! create the dataset with default properties
call h5dcreate_f(file_id, dsetname, H5T_NATIVE_INTEGER, dataspace, &
dset_id, error)
! create memory dataspace
call h5screate_simple_f(rank, dimsm, memspace, error)
offset(1) = 0
do i = 1, 10
offset(2) = i - 1
sdata = i
! select subset
call h5sselect_hyperslab_f(dataspace, H5S_SELECT_SET_F, &
offset, count, error, stride, block)
! write subset to dataset
call h5dwrite_f(dset_id, H5T_NATIVE_INTEGER, sdata, dimsm, error, &
memspace, dataspace)
enddo
! read entire dataset back
call h5dread_f(dset_id, H5T_NATIVE_INTEGER, rdata, dimsf, error)
write(*, '(A)') "Data in file after subset written: "
do i = 1, dim0
write(*, '(100(1X,I0,1X))') rdata(i, 1:dim1)
enddo
! close everything opened
call h5sclose_f(dataspace, error)
call h5sclose_f(memspace, error)
call h5dclose_f(dset_id, error)
call h5fclose_f(file_id, error)
! close fortran interface
call h5close_f(error)
end program test_hyperslab

我认为您需要额外的库。

请在此处查看Fortran库的链接:https://support.hdfgroup.org/HDF5/doc/fortran/index.html 和此处的一些示例:https://support.hdfgroup.org/HDF5/examples/f-src.html

最新更新