将CIFAR10数据集转换为Amazon Sagemaker的Recordio格式

Question

我已经下载了CIFAR-10数据集，需要将其转换为RecordIO格式。如果您解压缩下载的cifar-10-python.tar.gz数据集，则可以在下面看到

cifar-10-batches-py/
cifar-10-batches-py/data_batch_4
cifar-10-batches-py/readme.html
cifar-10-batches-py/test_batch
cifar-10-batches-py/data_batch_3
cifar-10-batches-py/batches.meta
cifar-10-batches-py/data_batch_2
cifar-10-batches-py/data_batch_5
cifar-10-batches-py/data_batch_1

现在，我想将data_batch_*.bin分开以训练集和test_batch.bin以测试集合并转换为recordIO格式。

遵循此教程链接，但不确定im2rec实际上是在实现它的方法。

请建议。

Answer 1

这就是您使用im2rec：https：//mxnet.incubator.apache.org/versions/master/master/faq/recordio.html

或者您可以直接以Recordio格式下载CIFAR-10：

wget http://data.mxnet.io/data/cifar10/cifar10_val.rec
wget http://data.mxnet.io/data/cifar10/cifar10_train.rec