producter.override.compression.type在Kafka Connect中做什么



我的本地机器上运行了带有CONNECT_CONNECTOR_CLIENT_CONFIG_OVERRIDE_POLICY=All的Kafka Connect,连接器上运行了"producer.override.compression.type": "snappy"。我的理解是,它将使Debezium连接器对其生成的JSON消息使用Snappy压缩。当我运行Kafka控制台使用者时,我能够看到JSON负载。

有人能帮我了解解压发生在哪里吗?为什么我在控制台上看不到胡言乱语?

它完全按照你说的去做。它不仅适用于Debezium,还适用于所有包含该设置的连接器,适用于任何数据格式,而不仅仅适用于JSON。如果希望该设置应用于同一工作线程上的所有连接器,则将producer.compression.type放入connect-distributed.properties文件中。

生产商批次通过有线和代理进行压缩。

消费者无需任何设置即可自动解压缩。

相关内容

  • 没有找到相关文章

最新更新