如何将数据从s3 bucket迁移到冰川



我有一个TB大小的S3存储桶,里面有pdf文件。我需要把旧文件迁移到冰川。我知道我可以创建一个生命周期规则来迁移超过特定天数的文件。但在我目前的情况下,bucket由旧的和新的pdf文件组成,它们是同时添加的。所以他们可能有相同的上传日期。在这种情况下,生命周期规则将没有用处。

在pdf文件中有一个名为capture_date的字段。因此,我需要根据capture_date迁移这些文件。(即:如果capture_date<2015-05-21也一样,则迁移所有pdf文件(。

法盖特的工作在这里有用吗?如果是,请简要介绍一下。

请提出你的想法。提前感谢

S3本身不会读取您的pdf文件。因此,您必须自己读取它们,提取确定哪些是旧的和新的数据,并使用AWS SDK(或CLI(将它们移动到Glacier。

由于文件不太大,您可以使用S3 Batch和lambda函数,将类更改为glasser。

或者,您可以在EC2实例上执行此操作,使用S3 Inventory的对象CSV列表(假设有大量对象(。

最传统的方法是列出你的bucket,并对每个对象进行迭代。

最新更新