Fluentd to Kafka on Kubernetes连接问题

Question

我在将Fluentd连接到Kafka以进行集中日志PoC时遇到问题。

我目前正在使用以下配置：

• Minikube
• Fluentd
• fluent/fluentd-kubernetes-daemonset:v1.14.3-debian-kafka2-1.0(码头工人(
  • 配置：我在yaml中为fluentd守护进程集设置了FLUENT_KAFKA2_BROKERS=<INTERNAL KAFKA BOOTSTRAP IP>:9092和FLUENT_KAFKA2_DEFAULT_TOPIC=logs环境
• 卡夫卡

我有点期待看到日志出现在一个Kafka消费者中，该消费者与监听"；日志"；话题没有骰子。

有人能推荐下一步的故障排除步骤和/或一个好的参考吗？我做了很多搜索，只发现有几个人发布了关于使用fluentd kafka插件的设置。此外，探索Fluent Bit Kafka设置作为一种替代方案对我来说有意义吗？

Answer 1

通常，要配置将日志事件转发到Kafka主题，您肯定需要使用Fluentd的输出插件。

Fluentd为输入和输出用例提供了Fluentd文档中指定的fluent插件kafka插件。对于输出情况，该插件具有Kafka Producer函数，用于将消息发布到主题中。kafka-connect-fluentd插件也可以作为替代方案使用。

Fluent Bit是Fluent的子项目，是Fluent很好的轻量级替代品，但使用哪一个取决于您的特定用例。Fluent Bit的过滤选项数量有限，它不像Fluent那样可插拔和灵活。后者有更多的配置选项和过滤器，可以与大量的输入和输出源集成。它本质上是为处理高吞吐量而设计的——从多个输入聚合、处理数据并路由到不同的输出。在这里和这里进行更多的比较。