在不同端点url上的s3 bucket之间复制对象



我正试图从s3://open-images-dataset存储桶中复制一个对象。我可以使用以下命令在本地下载它。

aws s3 --no-sign-request cp s3://open-images-dataset/tar/train_0.tar.gz ./

上面的命令将在我的本地目录中下载tar文件。从那里,我将把这个文件上传到另一个s3 bucketmybucket。这是我所在组织的内部s3存储桶。因此,它需要一组不同的访问密钥/id和端点url来连接和访问该bucket。因此,下载完成后,我有另一个脚本连接到mybucket并上传下载的对象。

我想知道,是否有一种方法可以消除这个跳跃,并直接将对象从源buckets3://open-images-dataset复制到mybucket。因为我在本地没有那么多磁盘空间,而且遇到了空间不足的问题。我尝试了以下命令,但没有成功,可能我错过了什么:

aws s3 --no-sign-request cp s3://open-images-dataset/tar/train_0.tar.gz s3://mybucket --endpoint-url https://myendpointurl

如有任何帮助,我们将不胜感激。

尝试在命令末尾提供参数。另外,如果您想将所有数据从bucket1复制到bucket2,请使用同步而不是cp.

aws s3 cp s3://dataBucket/test.txt s3://mybucket/test2.txt --no-sign-request

同步:

aws s3 sync s3://mybucket s3://mybucket2

最新更新