如何将日志存储输出链接到火花输入

Question

我正在处理一些日志，我正在使用 logstash 从日志文件中读取日志并在推送到弹性搜索数据库之前对其进行过滤。 但是，我想用存储在 postgres db 中的一些数据来丰富日志信息，所以我正在考虑在两者之间使用 spark。

是否可以将 logstash 输出馈送到 spark，然后丰富我的数据，然后将其推送到弹性搜索

任何帮助，不胜感激。

Answer 1

使用 Logstash 的 Kafka 输出插件，将数据从 Kafka 读取到 Spark Kafka 接收器中并丰富您的数据。扩充后，可以调用弹性搜索批量发布文档或单个文档，并使用 REST API 为它们编制索引。