我想将数据从我的云存储存储桶传输到S3。我做了很多研究。我找到了一篇有趣的文章,可以使用gsutil命令完成此操作。同样,它需要手动活动。有什么方法可以在没有任何手动活动的情况下进行此操作,或者有可能通过Java API运行此gsutil命令?
我已经在我的Google Cloud Project上创建了一个VM实例。我配置了具有AWS凭据的boto文件。使用GSUTIL命令,我能够将我的数据从云存储复制到S3.我想自动化此步骤
gsutil
可以与Google Storage和S3一起使用。
gsutil rsync -d -r gs://my-gs-bucket s3://my-s3-bucket
您只需要使用-Google和您的AWS S3凭据配置它。gsutil
将使用~/.boto
文件中的凭据。
有多种方法可以自动执行Shell命令。从Java的Runtime.exec((到Google Cloud Scheduler(您的云的Cron(
完全自动化且易于使用的方式是Google存储转移。它可以让您在S3或GC中选择源和目标存储库,然后设置棚屋,例如"每天在凌晨1点运行"
Skyplane是在云之间传输数据(大型文件最高110倍(的替代方案。您可以使用命令传输数据:
skyplane cp -r s3://aws-bucket-name/ gcs://google-bucket-name/