在 Flink SQL 中什么是更好的设计

Question

我在flink sql数据处理中有一个场景，它有很多kafka消息(json格式)。所有消息内容相似但不相同。我创建了许多与消息一对一的 flink 表，我意识到很难维护 kafka 主题。

event1:
{
"id": "id_001",
"type": "in",
"create_time": 1635116133089, 
"uid":"uid_001"
}
event2:
{
"id":"id_002",
"status":"login",
"type":"in"
}

我的 flink sqls 一般使用水印、窗口、cep。

我的痛点是我有各种各样的桌子似乎是多余的。在我的情况下，有更好的桌子设计吗？

Answer 1

我最初的想法是看看是否可以在使用可选字段时为事件定义通用架构。然后，您可以将所有事件发布到一个主题，因为某些字段可以保持为空。