Kafka-streams :在将消息发送到Kafka主题之前修改消息结构

Question

我有一个场景，我需要更改我从 JDBC 源连接器获得的消息结构，然后再到达 kafka . 我是卡夫卡的初学者，所以卡夫卡流如何帮助我实现这一目标。

输入-

{"id":"123","firstName":"pqr","lastName":"xyz","age":"23","dob":"20-09-1995"} 

我想将其存储在弹性索引中作为

{"id":"123","name":{"firstName":"pqr","lastName":"xyz"},"age":"23","dob":"20-09-1995"} 

我没有设置卡夫卡流，我想使用它，如果可以使用 KSQL，我想知道这一点。

Answer 1

您似乎正在使用 Kafka Connect。对于这种情况，"单消息转换"(SMT(是您的朋友。这些允许您在连接器将数据写入主题之前逐条转换每条消息。

查看此博客文章以获取更多详细信息：https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-3/