将数据集上载到Hub时停止运行时的原因是什么



我在尝试将数据集上传到Hub(AI的数据集格式(S3SetError: Connection was closed before we received a valid response from endpoint URL: "<...>".时遇到以下错误

所以,我试图删除数据集,它在下面抛出了这个错误。

CorruptedMetaError: 'boxes/tensor_meta.json' and 'boxes/chunks_index/unsharded' have a record of different numbers of samples. Got 0 and 6103 respectively.

使用集线器版本:v2.3.1

似乎在上传数据集时,运行时被中断,导致试图上传的数据损坏。删除时使用force=True应该可以删除它。

有关更多信息,请随时查看Hub API基础文档,了解如何在Hub中删除数据集的详细信息。

如果您在中途停止上传Hub数据集,您的数据集将仅部分上传到Hub。因此,您需要重新启动上传。如果要重新创建数据集,可以在hub.empty(overwrite = True)中使用overwrite = True标志。如果要更新现有数据集,则应使用版本控制来检查状态是否良好。

最新更新