GCP 数据流中的流数据处理支持哪些数据源?



在阅读了很多关于数据流的信息后,我只能找到PubSub和bigquery作为支持GCP数据流中流数据处理的数据源。

支持哪些其他数据源?

我可以使用数据流执行所有流式处理任务,这些任务可以使用其他 ETL 工具(如 Spark 或 Kafka(完成?

Apache Beam 提供了可扩展的支持,可以为任何类型的流源构建 IO。SDK中有Kafka,Kinesis,MQTT的实现。

考虑到 Beam 中传输、格式和下游捆绑架构的分离,只要底层格式是可序列化的,您应该能够与任何类型的流源进行交互。

最新更新