多个pubsub主题的数据丰富

Question

我有两个主题：

player_info_topic示例消息：

{"id": 1, "name": "Sandy"}

seating_arration_topic示例消息：

{"id": 1, "seat": 2}

有没有办法在gcp中匹配这些消息，云数据流可能会发布到另一个pubsub主题？

Answer 1

在流中，只有将窗口应用于要加入的PCollection，才能进行加入。窗口必须是FixedWindow或SlidingWindow。

您可以阅读这两个主题，然后为两个生成的PCollections中id为的每个元素添加一个键。然后添加窗口，并应用CoGroupByKey。然后以要写入Pubsub的格式生成输出，并将其发送到Pubsub。

看看Python、Java的示例，以及Beam Programming Guide 中关于CoGroupByKey的部分