当quicksight可以使用athena直接从s3查询时,是否真的需要红移



我们将数据转储到S3存储桶中,我们使用这些数据在Quicksight中提取一些报告,其中一些直接访问S3作为数据源,而对于其他报告,我们使用Athena来查询S3。

在哪一点上,需要使用Redshift?与S3+雅典娜相比,使用红移有什么优势吗?

不,你可能只需要QuickLight、Athena和S3就可以了——如果你不考虑Redshift,它也会相对便宜。Athena基于PRESTO,在满足大多数SQL报告需求的功能方面相当全面。

如果您接近或达到QuickLight的SPICE限制,并且仍然希望您的报告快速加载,那么您将需要Redshift。从数据工程的角度来看,如果您需要更新现有记录,那么在RedShift中对记录进行微批处理和更新会更容易。使用athena/s3,您还需要注意优化存储格式(使用orc/parquet文件格式,使用分区,不使用小文件等…(-这不是火箭科学,但有些人更喜欢为RedShift付费,而不必担心这一点。最终,当您的数据增长得非常大(达到PB级(时,RedShift可能会更好地扩展。然而,我的建议是继续使用Athena并遵循其最佳实践,只有当你预计会有巨大的增长并希望确保能够按需扩展底层引擎(当然,你也愿意为此支付额外费用(时,才使用RedShift。

最新更新