如何使用BigQuery Storage Read API定义Apache Beam中的最大流数



我想从BigQuery中读取数据并将其发布到Pubsub。为此,我想使用ApacheBeam并在Dataflow中运行这个管道。我的BQ查询需要很长时间才能执行。因此,希望使用BigQuery的Storage Read API来减少时间,该API支持使用流读取数据。虽然Beam支持使用Storage API,但我找不到设置最大流数的文档。有人能帮我如何在Apache Beam管道中设置流的数量,以便从BigQuery中读取数据吗。

参考文献:BQ存储API概述,Apache Beam BQ I/O

BigQueryIO的所有可调选项都可以在这里找到。似乎没有阅读的选项。

您可以使用user@beam.apache.org对此进行双重检查。如果不支持,您可以在https://issues.apache.org/jira.

最新更新