通过云功能订阅谷歌发布/订阅消息与使用数据流相比



我有一个pubsub主题,大约每秒发布一条消息。消息大小约为1kb。我需要将这些数据实时地输入cloudsql和bigquery。数据正在以稳定的速度提供,至关重要的是没有一个数据丢失或延迟。将它们多次写入目的地不是问题。数据库中所有数据的大小约为1GB。

与谷歌数据流相比,使用主题触发的谷歌云功能来解决这个问题有什么缺点/优势?

Dataflow专注于在将数据加载到接收器之前对其进行转换。当你想执行窗口数据(聚合、求和、计数…(的计算时,数据流(Beam(的流模式非常强大。如果你的用例需要稳定的速率,那么当你部署新版本的管道时,数据流量可能是一个挑战(如果翻倍的值不是问题,希望很容易解决!(

云函数是云的粘合剂。在你的描述中,它似乎非常合适。在主题中,创建2个订阅和2个函数(每个订阅一个(。一个在BigQuery中编写,另一个在CLoud SQL中编写。这种并行化确保了处理过程中的最低延迟。

相关内容

  • 没有找到相关文章

最新更新