审计数据的云存储有哪些好的选择?(连篇累牍,很少有人质疑)



我正在做一件想要存储大量";审计记录";样式数据。例如";"用户创建了一个东西"用户删除了一件事"用户有27件东西";。我们希望将其存储在云中(AWS或Azure(。理想情况下,我想使用云原生服务,这样我就不必担心诸如扩展服务器实例、分片等问题。

这种数据大多是连续的写入流,并且每隔一段时间就会有一个大的"数据流";报告";样式查询,用于汇总或计数给定日期范围内的大块数据。我们几乎从不需要查询单个记录。

";AWS中的云数据库";似乎是DynamoDB,然而定价模型和我读过的文章似乎暗示它是为更多的事务模型而设计的。写入比读取贵一个数量级,这与我的用例相反。

那些有着深厚云知识的人——请问:你会使用什么服务来存储此类数据并在上面运行报告?迪纳摩是不是一个糟糕的选择?

DynamoDB可能是一个糟糕的选择。它的主要卖点是线性扩展和高水平的弹性。它的交易价格很高。如果你正在写大量的数据,它很快就会变得昂贵。

你提到"持续写作"one_answers"很少被质疑",这让我立刻认为S3和Athena可能是这里的最佳选择。

S3是众所周知的AWS"blob store",在那里保存数据非常便宜。Athena是一种可以利用S3的无服务器查询技术。由于没有服务器,您只需为运行的查询付费,这在这种情况下听起来很重要,因为您很少查询。

在Azure中,您可以在事件发生时将事件流式传输到事件中心,然后创建一个简单的Logic应用程序,将事件转移到日志分析工作区,以便安全保存,并根据您的要求进行任何查询和报告。

有几种语言的Event Hub客户端库:https://learn.microsoft.com/en-us/azure/event-hubs/sdks

下面是几个将数据转移到日志分析的简单示例-一个简单的搜索就会给你很多示例,所以我不会在这里链接任何细节。

日志分析中的最大保留期限为730天(2年((https://learn.microsoft.com/en-gb/archive/blogs/canberrapfe/change-oms-log-analytics-retention-period-in-the-azure-portal),因此,如果你需要将日志保存更长时间,你需要探索将其放入数据湖,而不是日志分析。与日志分析相比,这对我来说有点"沉重",但这实际上取决于您的保留要求。

最新更新