我使用Confluent JDBC Kafka连接器将消息发布到主题中。源连接器将在每次轮询中向主题发送数据以及架构。我想检索此架构。
有可能吗?怎样有人能给我推荐吗
我的意图是基于Kafka连接器在轮询上构建的模式创建一个KSQL流或表。
实现这一点的最佳方法是使用Avro,其中模式被单独存储,并由Kafka Connect和KSQL自动使用。
您可以通过配置Kafka Connect使用AvroConverter来使用Avro。在您的Kafka Connect工作配置集中:
key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://schema-registry:8081
(将schema-registry
更新为运行架构注册表的主机名(
从那里开始,在KSQL中,您只需使用
CREATE STREAM my_stream WITH (KAFKA_TOPIC='source_topic', VALUE_FORMAT='AVRO');
您不需要在这里指定模式本身,因为KSQL从schema Registry获取它。
你可以在这里阅读更多关于转换器和串行器的信息。
免责声明:我为Confluent工作,并撰写了引用的博客文章