我的一个轮回任务有一个令人费解的问题。除一个分区上的消息外，它工作正常。我有 9 个关于这个主题的分区。如果我发送 1000 条消息，我只收到大约 890 条。
我已经用分区键检查了 kafka-console-consumer，我知道我的 samza 作业不会处理这些键，并且控制台消费者确实看到了该消息，所以我知道它正在写入主题，并且至少香草消费者可以看到它很好。
我已经在 samza 上启用了调试日志记录，并且org.apache.samza.checkpoint.kafka.KafkaCheckpointManager有很多消息说：
添加检查点检查点 [offsets={SystemStreamPartition [kafka， com.mycompany.indexing.document， 4]=448}] for taskName Partition 四
分区 4 总是显示 448。 分区 0 具有类似的日志，但显示 448 的地方是一个稳步增长的数字。
我很乐意分享任何有趣的配置信息来帮助缩小范围，但现在，我对我什至会分享的内容有点困惑。
我正在ThreadJobFactory运行：
-
Samza-kafka_2.10 版本 0.9.1
-
客户端上的 kafka_2.10 版本 0.8.2.1
卡 夫卡经纪人 0.9.0.0
更新
我查看了使用相同的分区键的上游 samza 作业，并在上游分区 4 上发现了问题。 使用 kafkacat 检查 samza 检查点主题，我看到分区 4 的检查点没有前进。 首先我看到：
{"SystemStreamPartition [kafka, resource.mutation, 6]":{"system":"kafka","partition":"6","offset":"96639","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 3]":{"system":"kafka","partition":"3","offset":"47135","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 0]":{"system":"kafka","partition":"0","offset":"49476","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 4]":{"system":"kafka","partition":"4","offset":"2556","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 8]":{"system":"kafka","partition":"8","offset":"62263","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 1]":{"system":"kafka","partition":"1","offset":"52151","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 7]":{"system":"kafka","partition":"7","offset":"58081","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 5]":{"system":"kafka","partition":"5","offset":"47712","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 2]":{"system":"kafka","partition":"2","offset":"45831","stream":"resource.mutation"}}
% Reached end of topic __samza_checkpoint_ver_1_for_resource-normalizer_1 [0] at offset 81713
然后一分钟后我看到：
{"SystemStreamPartition [kafka, resource.mutation, 6]":{"system":"kafka","partition":"6","offset":"96624","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 3]":{"system":"kafka","partition":"3","offset":"47115","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 0]":{"system":"kafka","partition":"0","offset":"49462","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 4]":{"system":"kafka","partition":"4","offset":"2556","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 8]":{"system":"kafka","partition":"8","offset":"62252","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 1]":{"system":"kafka","partition":"1","offset":"52134","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 7]":{"system":"kafka","partition":"7","offset":"58063","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 5]":{"system":"kafka","partition":"5","offset":"47696","stream":"resource.mutation"}}
{"SystemStreamPartition [kafka, resource.mutation, 2]":{"system":"kafka","partition":"2","offset":"45817","stream":"resource.mutation"}}
% Reached end of topic __samza_checkpoint_ver_1_for_resource-normalizer_1 [0] at offset 81722
这个数字不会超过2556。 但是，查看分区 4 上resource.mutation的实际主题，最后一个偏移量的范围与其他偏移量相似，截至目前约为 61000 个，并且还在增长。
根本没有错误消息或警告消息。 它只是停止从分区 4 消耗。
问题是有一条消息超出了 kafka 使用者的默认max.message.bytes。 但是，负责使用该分区的线程不会给出任何类型的错误消息，而是只会挂在该消息上。 其他分区线程将愉快地继续前进。
一旦我们将systems.kafka.consumer.fetch.message.max.bytes配置为足够大的值以使用分区上的每条消息并重新启动作业，它就会从中断的地方继续，一切开始按预期工作。