在 mxnet 中高效访问任意 NDArray 批处理



拟合卷积神经网络(如 Resnet 和 VGG(受益于 ImageRecordIter python 类,它允许从存储在 RecordIO .rec 文件中的大型 RGB 图像集合中有效地加载批处理,

有没有人知道大型任意输入 2D 或 3D 矩阵的等效设施(对于 2D,行 = 项目和列 = 特征,+ 3D 中的通道(?

NDArrayIter 需要在内存中加载整个数据集,这在我的情况下是要避免的(>40Gb 数据文件(。CSVIter 不允许直接洗牌,仅适用于 2D 矩阵。

您可以将每个数据示例保留为单独的文件,并按照参考代码 ImageFolderDataset 实现一个非常简单的自定义DataSet

最新更新