"aws s3api list-objects-v2"应该很慢吗？

Question

我有一个包含32000000个对象的bucket，我想查看在某个日期创建的所有文件。

我做到了：

aws s3api list-objects-v2 --bucket MY_BUCKET --query 'Contents[?contains(LastModified,2021-01-20)].Key'

然而，这已经持续了15分钟，我想知道这是否是意料之中的事。

谢谢！

Answer 1

list-objects-v2API调用一次只检索1000个对象，因此它将在所有文件中递归。

--query是本地应用的，因此它将进行32000次API调用。

对于一个bucket中的这么多对象，我建议使用AmazonS3 Inventory，它可以提供每天或每周列出所有对象的CSV文件。