使用Hazelcast Jet进行JSON处理

Question

我使用PostgreSQL作为数据库。

-------------------------
id   |  name   | value  |
-------------------------
1   |  john   |  {"id":"0001"}
-------------------------

上面是简单的JSON，但在应用程序级别JSON是非常大的。因此，一旦我们将json数据上传到jet，如何通过在Hazelcast jet中创建管道来处理json数据。任何简单的建议都可以帮助你开始做这件事。

Answer 1

从PostgreSQL获取数据到Jet有两种模式:

1/批处理模式，其中Jet根据您提供的SQL查询获取数据。请参阅代码示例。此模式可通过JDBC源代码获得，并生成映射到域对象的ResultSet。

2/流模式，其中Jet订阅对DB表的更改，并获得任何INSERT, UPDATE或DELETE的通知。事件包含新的行值。请参阅教程。此模式可通过PostgresCdcSource使用，并产生changerecord。

两种模式都将原始JSON作为字符串提供给您。您可以使用JSON操作符方便地将JSON数据映射到您的域对象，以便您可以通过进一步的操作符下游处理它们。