如何从S3存储桶的各个文件夹中下载与文件名前缀相同的多个文件?

Question

假设我有一个名为bucketSample的 S3 存储桶。

我有不同的文件夹，如abc，def和xyz。

现在，我在上述所有文件夹中都有多个具有前缀hij_的文件。

我想下载所有前缀为hij_的文件。(例如，hij_qwe.txt、hij_rty.pdf等(

我已经经历了各种方式，但GetObject我必须提供特定的对象名称，而且我只知道前缀。

使用TransferManager，我可以下载文件夹abc的所有文件，但不能下载仅具有特定前缀的文件。

那么有什么方法只能下载前缀为hij_的所有文件吗？

Answer 1

public void getFiles(final Set<String> bucketName, final Set<String> keys, final Set<String> prefixes) {
try {
ObjectListing objectListing = s3Client.listObjects(bucketName); //lists all the objects in the bucket
while (true) {
for (Iterator<?> iterator = objectListing.getObjectSummaries().iterator();
iterator.hasNext(); ) {
S3ObjectSummary summary = (S3ObjectSummary) iterator.next();
for (String key : keys) {
for (String prefix : prefixes)
if (summary.getKey().startsWith(key + "/" prefix)) {
//HERE YOU CAN GET THE FULL KEY NAME AND HENCE DOWNLOAD IT IN NEW FILE USING THE TRANFER MANAGER
}
}
}
}
if (objectListing.isTruncated()) {
objectListing = s3Client.listNextBatchOfObjects(objectListing);
} else {
break;
}
}
} catch (AmazonServiceException e) { }
}

在此处阅读有关 AWS 目录结构的信息：AWS S3 如何存储文件？(目录结构(

因此，对于您的使用案例，键 + "/" + 前缀充当存储在 S3 存储桶中的对象的前缀。通过比较S3存储桶中所有对象的前缀，可以获取完整的键名。

Answer 2

使用 python，您可以使用 boto3 库，我发现这对于解决类似情况非常有用。

示例代码：

import boto3
import os
KEY = ''
SECRET = ''
download_folder = os.path.join(os.path.expanduser('~'), 'Downloads')
bucket = 'bucketSample'
folders = ['abc', 'def', 'xyz']
prefixes = ['hij_']
try:
# Needed for the pagination method in order to get objects with certain prefixes instead of iterating over all objects, you should get the aws_access_key_id and aws_secret_access_key for your bucket if available
s3 = boto3.resource(
's3',
aws_access_key_id=KEY,
aws_secret_access_key=SECRET)
# Needed for the download method, you should get the aws_access_key_id and aws_secret_access_key for your bucket if available
client = boto3.client(
's3',
aws_access_key_id=KEY,
aws_secret_access_key=SECRET)
# Get paginated objects
paginator = client.get_paginator('list_objects')
for folder in folders:
for file_prefix in prefixes:
prefix = folder + file_prefix
page_iterator = paginator.paginate(Bucket=bucket, Prefix=prefix)
if page_iterator:
for page in page_iterator:
if 'Contents' in page:
for content in page['Contents']:
file_path = os.path.join(download_folder, content['Key'])
s3.meta.client.download_file(bucket, str(content['Key']), file_path)
except:
print('An error occurred')