在AWS SageMaker中的S3中培训数据

Question

我已经将自己的jupyter笔记本电脑上传到了萨格人，并且正在尝试为我的培训/验证数据创建一个迭代器，如下所示：

train = mx.io.ImageRecordIter(
        path_imgrec         = ‘s3://bucket-name/train.rec’ …… )

我收到以下例外：

MXNetError: [04:33:32] src/io/s3_filesys.cc:899: Need to set enviroment variable AWS_SECRET_ACCESS_KEY to use S3

我已经检查了此笔记本实例附带的IAM角色具有S3访问。解决此问题需要的任何线索？

Answer 1

如果正确设置了IAM角色，则需要首先将文件下载到SageMaker实例，然后在其上进行工作。以下是：

# Import roles
import sagemaker
role = sagemaker.get_execution_role()
# Download file locally
s3 = boto3.resource('s3')
s3.Bucket(bucket).download_file('your_training_s3_file.rec', 'training.rec')
#Access locally
train = mx.io.ImageRecordIter(path_imgrec=‘training.rec’ …… )