复杂数据\消息的 Kafka 消息格式

Question

我们在系统中使用 Kafka 进行流处理。输入数据\消息的结构非常复杂。那么如何定义输入消息的结构。这是最适合输入数据\消息的结构和序列化机制。

Answer 1

可以使用以下序列化程序序列化输入消息。

1. Apache commons lang3 serializer - 最简单的实现
2. Kryo 序列化 - 快速高效的序列化程序
3. Avro 序列化 - 支持使用注册表随时间推移的架构演变

我建议您实施 Kryo serailizer。