AWS Sagemaker - 训练通道为空或小批量大小过高



我正在尝试在Sagemaker中训练线性学习器模型。我的训练集是 422 行,在 AWS S3 上拆分为 4 个文件。我设置的小批量大小是 50。

我在Sagemaker中不断收到此错误。

客户错误:未处理训练数据。要么培训 通道为空或小批量大小过高。验证 训练数据包含非空文件,小批量大小较小 比每个训练主机的记录数。

我正在使用这个输入数据配置

InputDataConfig=[
{
'ChannelName': 'train',
'DataSource': {
'S3DataSource': {
'S3DataType': 'S3Prefix',
'S3Uri': 's3://MY_S3_BUCKET/REST_OF_PREFIX/exported/',
'S3DataDistributionType': 'FullyReplicated'
}
},
'ContentType': 'text/csv',
'CompressionType': 'Gzip'
}
],

我不确定我在这里做错了什么。我尝试增加记录数量以5547495拆分为 6 个文件。同样的错误。这让我认为配置本身以某种方式缺少一些东西。因此,它似乎认为培训渠道不存在。我尝试将"火车"更改为"训练",因为这就是 erorr 消息所说的。但后来我得到了

客户错误:无法初始化算法。验证失败 输入数据配置。(由验证错误引起)

由: {u'training': {u'TrainingInputMode': u'Pipe', u'ContentType': u'text/csv', u'RecordWrapperType': u'None', u'S3DistributionType': u'FullReplicad'}} 在以下任何一项下都无效 给定的架构

我回去训练,因为这似乎是需要的。但是我做错了什么?

发现问题。压缩类型被称为"Gzip",但我在执行导出时已将实际文件更改为不压缩。一旦我将其更改为"无",培训就顺利进行。

相关内容

  • 没有找到相关文章

最新更新