AWS缓冲区在流式传输到lambda之前先在CloudWatch中进行日志记录



是否有一种方法可以缓冲来自CloudWatch日志组的X日志消息,然后将其流式传输到lambda函数?我将详细说明:

我注册了一个应用程序,它是CloudWatch日志,以流式传输到lambda函数,该函数格式化日志并将其推送到Elastic Search

因此流程如下:(应用程序日志(->(CloudWatch(-->(Lambda(->(弹性搜索(

我的问题是,我的lambda函数经常被调用(大多数时候是单个日志消息(,并用写请求轰炸ES,我想在批量中写入日志,即等待30个新日志,然后为30个日志批量调用lambda。

我发现实现这一点的唯一方法是使用Kinesis和Firehose,但这些服务需要额外费用,我想避免这种情况。

在不使用LogStash之类的东西的情况下,还有其他替代方案可以实现这一点吗?我认为这是一个非常常见的用法,所以必须有一些简单的方法来解决这个问题。

谢谢,

我会研究Functionbeat,它的主要目标是将Cloudwatch日志(以及其他日志(流式传输到ES。非常易于部署和操作,不需要篡改Lambda代码等。如果您在AWS环境中进行开发,但仍想将ES作为日志引擎,这是必须的

我想知道你在这种情况下最终做了什么。我相信,如果你使用functionbeats,你就不能使用aws ES,你必须手动创建它。

最新更新