AWS 存储网关,用于在 S3 中缓存数百万个文件



我们有一个用例,我们需要从Java应用程序访问近数百万个文件。目前,我们将它们存储在 EBS 卷中。事实证明,这是一个昂贵的选择(因为我们现在已经达到15TB(,因此我们正在寻找S3作为文件存储。我们可以承受延迟。

一种选择是使用 s3fs 挂载 S3 并访问文件。但我正在探索 AWS 存储网关的选项,如果它可以提供更好的缓存和更快的访问。我们在 s3fs 方面遇到了很多问题,所以正在寻找替代方案。

如果可能,请避免使用 s3fs,因为它只是模拟文件系统,并且可能会遇到高利用率问题。

最佳解决方案是让您的应用程序通过 S3 API 调用直接从 Amazon 访问文件,而不是假装 S3 是文件系统。这对于大型应用程序非常有效,并且由于您的应用程序直接与 S3 通信,因此您不会产生管理/维护开销。您应该认真考虑此选项。

如果您确实需要通过文件系统访问文件,请考虑使用 AWS Storage Gateway – File Gateway,它可以将 S3 存储显示为 NFS 共享。

相关内容

  • 没有找到相关文章

最新更新