kafka hdfs 接收器连接器是否支持主题级键和值转换器?



在 hdfs 接收器连接器中,我需要在主题级别配置键值转换器,即使用不同转换器的不同主题。可能吗?

转换器是可以在连接器级别重写的属性。这意味着连接器实例可以覆盖在 Connect 辅助角色配置中为转换器全局设置的值。

因此,尽管无法按主题覆盖,但对使用相同转换器类型的主题进行分组(每个主题都在单个连接器实例中(可以实现更接近您以更实用的方式描述的内容。

您只需为要使用不同键/值转换器的主题创建不同的工作线程配置文件。

例如,如果您想使用 Avro 密钥解析主题,请使用

key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081

而对于另一个(比如没有模式的 JSON 格式(,您可以使用

key.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false

然后,您可以在分布式模式下运行这些工作线程配置文件。

相关内容

  • 没有找到相关文章

最新更新