kafka-connect-elasticsearch:将消息存储为预定义索引的格式

Question

示例：

{"id":"1","firstName":"abc","lastName":"xyz","dob":"12/09/1995","age":"23"}

这个消息结构在 kafka 主题中，但我想在 elasticsearch 中将其索引

如下

{"id":"1","name"{"firstName":"abc","lastName":"xyz"},"dob":"12/09/1995","age":"23"}

我怎样才能做到这一点？

Answer 1

两个选项：

1. 针对 Kafka 主题中的数据进行流处理。使用 Kafka Streams，您可以根据需要整理数据模型。KSQL 可以反向工作，但尚不支持创建结构。其他流处理选项是Flink，Spark Streaming等

   。
使用

2. 单消息转换修改通过 Kafka Connect 的数据。没有预构建的转换可以执行此操作，但您可以使用 API 编写一个转换。

免责声明：我为开源KSQL项目背后的公司Confluent工作，为Kafka Streams，Kafka Connect等做出贡献。