我正在使用Flink进行一些测试,以与其他一些流媒体平台进行比较。测试的数据源是一个kafka主题,有不同的流量,我试图弄清楚flink是否跟上了。
有没有办法知道弗林克给卡夫卡消费者带来了多大的"背压"?IE它跟得上吗?
Apache Kafka项目提供了一些工具来从Zookeeper中获取主题和消费者信息。在这种情况下,您可以使用ConsumerOffsetChecker
。
该工具将向您输出的是"偏移滞后",即分区中最新偏移量和当前消费者位置之间的差异。
请注意,Flink大致按照检查点间隔的频率更新Zookeeper中的偏移量,因此您看到的信息不是100%准确的,因为它没有考虑飞行中的记录。但它会给你一个很好的想法,无论背压是在增加,还是一切顺利。
顺便说一句,如果你觉得Flink无法在主题生成时使用该主题的数据,请向邮件列表上的Flink开发人员寻求帮助。在我最近做的一些实验中,我发现Flink的Kafka Consumer可以以非常高的吞吐量进行阅读。
在kafka_2.11-10.10.0.0中,不推荐使用使用者偏移检查器,而kafka使用者组根据组进行偏移检查。
就我的情况而言,我没有看到任何团体与卡夫卡消费者团体一起上市。
在flink kafka消费者组的情况下,id对偏移监控没有多大用处。你可以在flinkkafkaconsumergroupId上找到更多关于这方面的信息。不工作