我有一个ELK设置，输出直接进入Elastic Search，而不是Logstash。我们使用带有基本许可证的ELK版本7.3.2，并在Linux RedHat下运行。
我们有一个由3个Kafka节点和2个Cassandra节点组成的拓扑结构。我能够使用默认设置配置metricbeat。这个metricbeat收集了来自这个VM主机的Kafka组和主题名称，但这还不足以查看消费者是否下降。
配置一个将ping 3个Kafka节点的心跳信号很容易。
这对我的团队来说还不够。
- 为什么一个metricbeat会提到卡夫卡的话题
- 有没有Beat可以安装并配置为直接从Kafka主题中读取
- 有没有一种方法可以设置metricbeat从Kafka读取并输出到Elastic Search
Metricbeat不仅在系统级别上收集度量，而且还从该系统上运行的服务中收集度量。以下是Metricbeat中包含的度量收集模块的列表。该列表涵盖了包括Kafka在内的许多服务和平台。
至于如何从Kafka主题阅读到Elasticsearch的问题，显而易见的方法是使用logstash或Kafka Connect。Elasticsearch有一个受支持的汇流连接器。
没有支持直接从卡夫卡主题中阅读的Beat。但经过一些研究，我发现了一个由JustSocialLabs开发的。我还没有尝试过。我同时使用Logstash和Kafka连接的经验非常丰富。但如果你愿意，你可以试一试。