如何在没有任何手动活动的情况下将数据从Google Cloud Storage传输到S3



我想将数据从我的云存储存储桶传输到S3。我做了很多研究。我找到了一篇有趣的文章,可以使用gsutil命令完成此操作。同样,它需要手动活动。有什么方法可以在没有任何手动活动的情况下进行此操作,或者有可能通过Java API运行此gsutil命令?

我已经在我的Google Cloud Project上创建了一个VM实例。我配置了具有AWS凭据的boto文件。使用GSUTIL命令,我能够将我的数据从云存储复制到S3.我想自动化此步骤

gsutil可以与Google Storage和S3一起使用。

gsutil rsync -d -r gs://my-gs-bucket s3://my-s3-bucket

您只需要使用-Google和您的AWS S3凭据配置它。gsutil将使用~/.boto文件中的凭据。

有多种方法可以自动执行Shell命令。从Java的Runtime.exec((到Google Cloud Scheduler(您的云的Cron(

完全自动化且易于使用的方式是Google存储转移。它可以让您在S3或GC中选择源和目标存储库,然后设置棚屋,例如"每天在凌晨1点运行"

Skyplane是在云之间传输数据(大型文件最高110倍(的替代方案。您可以使用命令传输数据:

skyplane cp -r s3://aws-bucket-name/ gcs://google-bucket-name/

最新更新