__consumer_offset和实际主题偏移量之间的kafka偏移量值不同

Question

为什么实际主题中的偏移值与__consumer_offset中相同主题的偏移值不同？PFB偏移位置以及使用的命令。

__consumer_offsets_13
=====================================
[root@node1 __consumer_offsets-13]# /opt/kafka_2.11-0.10.1.1/bin/kafka-run-class.sh kafka.tools.DumpLogSegments --deep-iteration --print-data-log --files ./00000000000000000000.log | tail -n 5
_offset: 41368_ position: 4190035 CreateTime: 1532888732120 isvalid: true payloadsize: 28 magic: 1 compresscodec: NoCompressionCodec crc: 1789813648 keysize: 43 key: my_consumer_groupmy_topic payload: Ad�I��d�p-�
my_topic
=====================================
[root@node1 __consumer_offsets-13]# /opt/kafka_2.11-0.10.1.1/bin/kafka-run-class.sh kafka.tools.DumpLogSegments --deep-iteration --print-data-log --files ../my_topic-0/00000000000000000000.log | tail -n 5
offset: 2080 position: 315620 CreateTime: 1532891670673 isvalid: true payloadsize: 118 magic: 1 compresscodec: NoCompressionCodec crc: 744326405 payload: {message_content_1}
_offset: 2081_ position: 315772 CreateTime: 1532891670673 isvalid: true payloadsize: 118 magic: 1 compresscodec: NoCompressionCodec crc: 2573656188 payload: {message_content_2}

我错过了什么？

Answer 1

kafka.tools.DumpLogSegments工具打印日志的内容。

当针对__consumer_offsets运行它时，您看到的偏移量是包含使用者组偏移量的消息的偏移量。这不是消费者群体的抵消！

使用者组的实际偏移量包含在该消息的有效载荷中。在输出中，它显示为payload: Ad�I��d�p-�，因为它需要解码。

如果你想打印__consumer_offsets的内容，请参阅Kafka如何阅读__consumer_offset主题。