AWS S3 Gzip Extremely Slow

Question

我在 S3 实例上有一个 200GB 的大文件，我正在考虑将其移动到我的本地以完成一些工作。我的想法是先 gzip 文件，然后 scp 到我的本地机器，以降低 S3 的 IO 成本并节省一些时间。

但是，S3 中的 gzip 步骤需要很长时间。我的想法是，S3实际上是一个大磁盘，不知何故，数据实际上流回EC2，然后移回S3，IO花费了太多时间。

我想知道如何解决这个问题。

Answer 1

S3并不是一个真正的大磁盘。有些层可以使它看起来像一个，但它最终不会作为一个层运行。使用磁盘可以读取和写入块，使用 s3，可以读取/写入整个对象。

我猜您正在尝试使用 s3fs 执行此操作，它会在对文件执行任何操作之前将文件复制到本地（到/tmp 中）。