如何使用 AWS CLI 根据给定日期范围(如 8 月 8 日至 8 月 15 日)从 S3 存储桶下载选择性日期范围文

Question

我可以过滤特定日期的数据，但不能过滤日期范围数据。 喜欢 12-09-2019 到 15-09-2019 使用 AWS CLI

例如，过滤我正在使用的2019年数据 --递归 --排除"*" --包括">2019">

Answer 1

您需要使用s3api 来处理使用 JMESPath 语法的查询

aws s3api list-objects-v2 --bucket BUCKET --query "Contents[?(LastModified>='2019-09-12' && LastModified<='2019-09-15')].Key"

您还可以指定时间

aws s3api list-objects-v2 --bucket BUCKET --query "Contents[?(LastModified>='2019-09-12T12:00:00.00Z' && LastModified<='2019-09-15T12:00:00.00Z')].Key"

此方法的缺点是它必须列出每个对象并执行查询。对于大型存储桶，如果您可以限制为前缀，它将加快您的搜索速度。

aws s3api list-objects-v2 --bucket BUCKET --prefix PREFIX --query "Contents[?(LastModified>='2019-09-12T12:00:00.00Z' && LastModified<='2019-09-15T12:00:00.00Z')].Key"

如果您的主要查找是按日期，那么请考虑按日期/时间排序顺序存储对象，因为您可以使用前缀选项来加快搜索速度。举几个例子。

prefix/20190615T041019Z.json.gz
2019/06/15/T041019Z.json.gz

这将