MXNET会以流媒体方式读取S3的培训数据吗?

Question

此页面讨论直接从S3存储桶读取培训数据。有人知道是否以流方式读取数据，还是在培训开始之前将整个培训数据复制到本地缓存？

Answer 1

实际上以流方式读取数据。如果要在本地缓存整个文件，则需要手动或在培训开始之前使用脚本进行操作。

请注意，如果未提供.lst文件，则某些迭代器可能会在培训开始之前读取整个.REC文件(获取一些元数据(。创建迭代器时，最好同时提供.REC和.LST文件。

示例：

itr = mxnet.image.ImageDetIter(batch_size=32, data_shape=(3,300,300),
                               path_imgrec=“s3://my_bucket_name/training_data/train.rec”,
                               path_imglist=“s3://my_bucket_name/training_data/train.lst”)