如何通过Producer端配置处理kafka中的大型消息

Question

来自我的kafka生产者的一些消息大于默认的1MB，并且被代理拒绝。

我无法访问经纪人和消费者进行更改。所以我只能在制作人层面做出改变。

我正在考虑在我的生产商中使用batch.size到5MB的快速压缩。请让我知道这是否是正确的选择或任何其他方式可用于我的用例。感谢

Answer 1

无论何时从生产者发送消息，都会将其存储在kafkabroker中，并由消费者消费。生产者->经纪人->消费者

因此，如果您想从Kafka发送大型消息，您需要更改broker和consumer的配置设置。a( 经纪人：

message.max.bytes=15728640 
replica.fetch.max.bytes=15728640

b( 面向消费者：

fetch.message.max.bytes=15728640

但是，由于您没有访问broker和consumer的权限，您可以在Producer或Topic级别设置压缩属性

将压缩属性设置为主题级别：

./bin/kafka-topics --create --zookeeper localhost:2181 --config compression.type=gzip --topic topic_name

或者在Kafka Producer客户端API中设置属性compression.type = gzip。