每30秒查询每30秒查询PostgreSQL的有效方法



我需要从AWS中的某些PostgreSQL表中获取数据(等待处理的记录)。QRY的结果被张贴到日志上,并被Fluentd Demons拾取,并推到Elasticsearch/Kibana。直接做到这一点的方法是编写一个小型弹簧靴应用程序,该应用程序每30秒左右ping db。我觉得这效率低下且昂贵。有更好的方法吗?

感谢您的帮助。

而不是定期查询DB,而是使用更改数据捕获(CDC)产生变更事件。使用流处理,将结果写入Elasticsearch索引。如果您不担心供应商锁定,则可以使用AWS DMS,Kinesis和Lambda来做到这一点。否则,您可以使用合适的Kafka连接器来阅读更改并在Kafka上发布事件。然后使用kafka流将数据推向alasticsearch。

最新更新