在 hdfs 接收器连接器中,我需要在主题级别配置键值转换器,即使用不同转换器的不同主题。可能吗?
转换器是可以在连接器级别重写的属性。这意味着连接器实例可以覆盖在 Connect 辅助角色配置中为转换器全局设置的值。
因此,尽管无法按主题覆盖,但对使用相同转换器类型的主题进行分组(每个主题都在单个连接器实例中(可以实现更接近您以更实用的方式描述的内容。
您只需为要使用不同键/值转换器的主题创建不同的工作线程配置文件。
例如,如果您想使用 Avro 密钥解析主题,请使用
key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081
而对于另一个(比如没有模式的 JSON 格式(,您可以使用
key.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
然后,您可以在分布式模式下运行这些工作线程配置文件。