我想在Apache Kafka中压缩数据日志。我怎么知道该选哪一个?对我来说,性能和空间很重要。
Server.properties文件
压缩类型=snappy,gzip、lz4使用vb。
有趣的是,Uber在MsgPack序列化消息中使用了zlib。然而,您应该在自己的硬件、网络和存储上执行自己的基准测试(例如,这些数字是使用Python库获得的(
关于底层序列化,通过模式注册表的Avro序列化允许您拥有比明文或JSON更严格的模式定义规则,并且Avro通常与Snappy压缩很好地配对