Kafka streams aggregation RecordTooLargeException

Question

尝试使用5分钟的滚动窗口从单个流聚合数据。最初，它运行良好，能够打印汇总记录。使用Java 8进行开发。

但后来开始接收错误-

"；org.apache.kafka.commun.errors.RecordTooLargeException：序列化时消息为5292482字节，大于1048576，这是max.request.size配置"的值

现在，每次在EKS集群中启动我的应用程序后，都会在一分钟内崩溃，并出现同样的错误。

尝试设置以下流配置，但也无济于事：流配置。RECEIVE_BUFFER_CONFIG(50 MB(流配置。CACHE_MAX_BYTES_BUFFERING_CONFIG(50 MB(

以下任何人都能解决这个问题吗：

1. 使用inMemoryKeyValueStore。有什么特定的属性可以为inMemoryKeyValueStore分配一些内存吗
2. OR是否应切换到persistentKeyValueStore
3. 使用AWS MSK，因此在创建集群时，定义具有适当值的代理和主题级别设置-message.max.bytes

提前感谢。

Answer 1

需要增加生产者配置max.request.size(如错误消息中所述(来解决此问题。

请注意，您可能需要增加您另外提到的broker/topic配置message.max.bytes。