使用KafkaOffsetMonitoring工具监控Kafka Spout



我的项目使用的是stom-0.9.2发行版附带的kafkaSpout。我想监测一下这个喷口的流量。我尝试使用KafkaOffsetMonitoring,但它没有显示任何消费者阅读我的主题。

我怀疑这是因为我在Zookeeper中为喷口指定了根路径来存储消费者偏移。kafkaOffsetMonitor如何知道在哪里查找有关我的kafkaSpout实例的数据?

有人能解释一下zookeeper在哪里存储关于卡夫卡主题和消费者的数据吗?动物园管理员是一个文件系统。那么,它是如何排列不同主题的数据及其分区的呢?什么是消费者groupid?zookeeper在存储消费者偏移量时如何解释它?

如果有人曾经使用kafkaOffsetMonitor来监控kafkaSpout的吞吐量,请告诉我如何使用该工具来找到我的喷口?

非常感谢,Palak Shah

Kafka Spout将其偏移量保持在自己的znode中,而不是在Kafka为普通消费者存储偏移量的znode下。我们也有类似的需求,我们必须监控卡夫卡喷口消费者和普通卡夫卡消费者的补偿,所以我们结束了编写自己的工具。你可以从这里获得工具:

https://github.com/Symantec/kafka-monitoring-tool

我从未使用过KafkaOffsetMonitor,但我可以回答其他部分。

zookeeper.connect是可以指定Kafka的znode的属性;默认情况下,它将所有数据保持在"/"。

您可以使用zookeeper命令行zkCli.sh访问zookeepper文件系统。您应该查看/消费者和/经纪人;下面会给你偏移

get /consumers/my_test_group/offsets/my_topic/0

您可以连续轮询此偏移量,以了解喷口处的消耗率。

最新更新