使用prefix从S3桶中下载多个文件

Question

如何从S3下载这些文件?

$ aws s3 ls s3://student162a/kagapa_logs/2022-11-08
2022-11-08 00:46:21        607 2022-11-08-00-46-20-D1F1689F5DFAA555
2022-11-08 04:25:12        554 2022-11-08-04-25-11-09852D4EBBA54CAA
2022-11-08 04:27:37        556 2022-11-08-04-27-36-6AB56DD0D92C6C50
2022-11-08 04:29:16        574 2022-11-08-04-29-15-E16FB6F8BAE53BA0
2022-11-08 04:30:08        554 2022-11-08-04-30-07-5BDEB31F5D2E673A
2022-11-08 04:33:40        580 2022-11-08-04-33-39-68883A634F09D12A
2022-11-08 04:38:41        574 2022-11-08-04-38-40-7CBCAAC2C825391B
2022-11-08 04:38:51        598 2022-11-08-04-38-50-F64BB1BFF1565114
2022-11-08 04:43:01        561 2022-11-08-04-43-00-852CE3A46A10FA8A
2022-11-08 09:29:13        572 2022-11-08-09-29-12-4487894C85BEA4A0
2022-11-08 11:13:25        453 2022-11-08-11-13-24-B15E1663350834D5
2022-11-08 11:21:13        436 2022-11-08-11-21-12-19C796E81A1630A5
2022-11-08 18:31:09        525 2022-11-08-18-31-08-79A1114CD6D2331D
2022-11-08 18:34:03        544 2022-11-08-18-34-02-936D7F146C21B0D9

我已经尝试了同步和cp，但似乎不起作用。

$ aws s3 sync s3://student162a/kagapa_logs/2022-11-08 .
$ aws s3 cp  s3://student162a/kagapa_logs/2022-11-08* .

我不想使用"GUI客户端"。可以使用命令行吗?

更新:

---

这似乎有效。但是有没有更好(更快)的方法使用前缀下载?

#!/bin/sh
for file in `aws s3 ls  s3://student162a/kagapa_logs/2022-11-08 | awk '{print $4}'`
do
aws s3 cp s3://student162a/kagapa_logs/$file .
done

这比shell脚本快，但如果有数千个文件，仍然会花费很多时间。

aws s3 ls  s3://student162a/kagapa_logs/2022-11 | awk '{print $4}' | parallel -I% --max-args 1 aws s3 cp s3://student162a/kagapa_logs/% .

我使用这个shell脚本创建了一个包含所有命令的文本文件:

#!/bin/sh
for file in `aws s3 ls  s3://student162a/kagapa_logs/2022-11 | awk '{print $4}'`
do
echo "aws s3 cp s3://student162a/kagapa_logs/$file ." >> myfile.txt
done

然后像这样使用并行命令:

parallel --jobs 30 < myfile.txt

生成文本文件不需要花费时间。对于1000个文件，parallel命令需要10分钟。我错过什么了吗?

更新2

---

使用控制台，我搜索前缀2022-11-08，然后选择并复制所有文件到另一个文件夹。如果文件少于300个，它就可以工作。如果有很多文件，那么我必须选择每个页面上的所有文件并复制到另一个文件夹。如果有几千个文件要下载，这个选项将不起作用。

Answer 1

AWS S3 CLI提供了包含或排除对象的选项。

更多信息请访问- https://docs.aws.amazon.com/cli/latest/reference/s3/#use-of-exclude-and-include-filters

要从aws存储桶下载多个文件到当前目录，您可以使用递归、排除和包括标志。参数的顺序很重要。

示例命令:

aws s3 cp s3://my_bucket/ . --recursive --include "prefix-a*" --exclude "*"

确保include和exclude按照你需要的顺序排列。

在您的示例中，命令应该像这样aws s3 cp s3://student162a/kagapa_logs/ . --recursive --exclude "*" --include "2022-11-08*"

• 更新-在我的桶上测试了类似的情况-

aws s3 cp s3://gagan-miller-bucket-bucket/dir1/ . --recursive --exclude "*" --include "2022-11-08"

download: s3://gagan-miller-bucket-bucket/dir1/2022-11-08 004621.txt to ./2022-11-08 004621.txt 
download: s3://gagan-miller-bucket-bucket/dir1/2022-11-08 004621 - Copy (3).txt to ./2022-11-08 004621 - Copy (3).txt 
download: s3://gagan-miller-bucket-bucket/dir1/2022-11-08 004654.txt to ./2022-11-08 004654.txt```