我有大约 100 个".hdf5"文件。每个文件都有大约 300 个大小为 80x80x80 的(可变(3D 卷，属于同一类。总共有100个班级。我还有其他数据，如图像 ID 和所有".hdf5"文件中每个卷对应的其他数据。
我的问题是：如何在不将数据加载到内存中的情况下通过洗牌来拆分它们进行训练、测试、验证，然后如何加载数据进行训练。我无法完全在RAM中加载数据，因为3D卷消耗了大量内存。有没有简单的方法可以做到这一点？
一些可能对你有帮助的阅读：
https://medium.com/tensorflow/an-introduction-to-biomedical-image-analysis-with-tensorflow-and-dltk-2c25304e7c13; 检查有关"使用 TFRecords 数据库"的部分
https://www.tensorflow.org/guide/datasets 它是Tensorflow的原始详尽指南。检查"消耗 NumPy 数组"部分。我不确定您的具体情况，但这通常有助于对加载过程有很好的了解