我的本地机器上运行了带有CONNECT_CONNECTOR_CLIENT_CONFIG_OVERRIDE_POLICY=All
的Kafka Connect,连接器上运行了"producer.override.compression.type": "snappy"
。我的理解是,它将使Debezium连接器对其生成的JSON消息使用Snappy压缩。当我运行Kafka控制台使用者时,我能够看到JSON负载。
有人能帮我了解解压发生在哪里吗?为什么我在控制台上看不到胡言乱语?
它完全按照你说的去做。它不仅适用于Debezium,还适用于所有包含该设置的连接器,适用于任何数据格式,而不仅仅适用于JSON。如果希望该设置应用于同一工作线程上的所有连接器,则将producer.compression.type
放入connect-distributed.properties
文件中。
生产商批次通过有线和代理进行压缩。
消费者无需任何设置即可自动解压缩。