有一种方法可以使用boto3分页器从多个不同的AWS S3路径检索数据吗?
在下面的示例中,我读取了位于folder/folder1
下的所有数据
paginator = s3_client.get_paginator('list_objects_v2')
page_iterator = paginator.paginate(
Bucket=bucket,
Prefix="folder/folder1"
)
但是,如果我想从folder/folder1
和folder/folder3
读取所有数据,该怎么办?可以通过一次只使用一个分页器实例来完成吗?
ListObjectsV2
API使用一个前缀。
如果要同时列出多个前缀,请同时或按顺序进行多个API调用。