在流媒体管道中使用谷歌云pub/sub服务的好处是什么



有人能解释一下在流媒体管道中采用谷歌云pub/sub服务的好处吗?

我看到了展示的一个事件流管道示例,它在连接到谷歌云数据流服务进行转换之前,使用pub/sub来获取事件数据。为什么它不直接通过数据流连接到事件数据?

谢谢。

Dataflow将需要一个源来获取数据。如果你使用流媒体管道,你可以使用不同的选项作为源,每个选项都有自己的特点,可能适合你的场景。

使用Pub/Sub,您可以使用客户端库或直接使用API将事件发布到主题,并且它将保证至少一次传递该消息。

当你将它与数据流流管道连接时,你可以有一个弹性的架构(Pub/Sub将继续发送消息,直到数据流确认它已经处理了它(和一个近乎实时的处理。此外,Dataflow可以使用Pub/Sub度量来根据积压工作中消息的数量进行放大或缩小。

最后,Dataflow runner使用了PubSubIO连接器的优化版本,该连接器提供了额外的功能。我建议查看描述其中一些功能的文档。

最新更新