在 Logstash 和 Kafka 中优先考虑消息

Question

我们将从logstash将来自不同来源的不同日志提供给kafka。会有一些特定的集合（或某种格式）消息，kafka 的消费者会比其他消息更感兴趣。我们如何确定消息的优先级？

一个想法是在 kafka 中创建两个主题 - 1） high_priority_topic 2） low_priority_topic然后在 logstash 中使用过滤器将感兴趣的消息推送到high_priority_topic，将其余消息推送到其他消息。这可能吗？

对此有什么推荐的方法吗？

Answer 1

使用标签或输入 logstash 来区分high_priority和low_priority，然后有两个 kafka 输出。

if CONDITIONAL {
  kafka {
    topic => "high_priority_topic"
    ...
  }
}
else {
  kafka {
    topic => "low_priority_topic"
    ...
  }
}

使用类型，条件将如下所示

[type] == "high_priority"

使用标记它看起来像

"high_priority" in [tags]