我在尝试将数据集上传到Hub(AI的数据集格式(S3SetError: Connection was closed before we received a valid response from endpoint URL: "<...>".
时遇到以下错误
所以,我试图删除数据集,它在下面抛出了这个错误。
CorruptedMetaError: 'boxes/tensor_meta.json' and 'boxes/chunks_index/unsharded' have a record of different numbers of samples. Got 0 and 6103 respectively.
使用集线器版本:v2.3.1
似乎在上传数据集时,运行时被中断,导致试图上传的数据损坏。删除时使用force=True
应该可以删除它。
有关更多信息,请随时查看Hub API基础文档,了解如何在Hub中删除数据集的详细信息。
如果您在中途停止上传Hub数据集,您的数据集将仅部分上传到Hub。因此,您需要重新启动上传。如果要重新创建数据集,可以在hub.empty(overwrite = True)
中使用overwrite = True
标志。如果要更新现有数据集,则应使用版本控制来检查状态是否良好。