使用AWS Athena分析DynamoDB数据



我有一个包含表和项的DynamoDB,我想为它创建一个仪表板。经过研究,我了解到AWS Athena和Quicksight允许我为我的网站分析、查询和创建仪表板。我设置了所有必要的连接器,通过Lambda将Dynamo表项流式传输到使用AWS Glue抓取的S3桶,然后在Athena中访问。我的问题是,这是否意味着我所有的DynamoDB表项都存储两次?一次在DynamoDB和一次在S3桶,雅典娜使用查询数据?

这是实际有我的数据位于两个点吗?还有其他的解决方案吗?

将DynamoDB数据存储在其他数据存储中是非常常见的,特别是因为DynamoDB不适合全文搜索并且分析整个表的成本很高。因此,yes数据将被复制。

最常见的模式是:

  • 将Dynamo数据加载到Elastic Search中以支持全文搜索。
  • 将Dynamo数据加载到S3数据库中,并从Athena进行查询,用于报告或存档。

最新更新