将数据存储到NoSQL数据库的经济高效的方法



我们正在开发一个系统,在这个系统中,我们每天必须收集1000万条记录。我们需要一个数据库解决方案,NoSQL。数据是简单的日志。我们目前正在使用AWS。我想从现有的两种技术中了解更便宜的解决方案。AmazonDB或MongoDB。

我们有30个表正在收集这些日志。

我建议使用fluentd或fluentbit收集日志并将其流式传输到Kinesis Firehose中,Kinesis Firehose将日志传输到S3中。然后,您可以使用Glue进行数据目录,并使用Athena进行数据聚合或查询。

如果你想在将日志放入S3之前进行转换,你可以利用Kinesis Firehose处理器与Lambda进行数据转换或格式对话。

以下是一些相关文章https://aws.amazon.com/blogs/compute/building-a-scalable-log-solution-aggregator-with-aws-fargate-fluentd-and-amazon-kinesis-data-firehose/https://aws.amazon.com/blogs/opensource/centralized-container-logging-fluent-bit/

最新更新