google Spark-BigQuery-Connector如何利用BigQuery Storage API

Question

根据https://cloud.google.com/dataproc/docs/concepts/connectors/bigquery连接器使用BigQuery Storage API使用gRPC读取数据。但是，我在这里的源代码中找不到任何Storage API/gRPC用法：https://github.com/GoogleCloudDataproc/spark-bigquery-connector/tree/master/connector/src/main/scala

我的问题是：1.有人能给我看一下使用存储API&gprc调用？2.Dataset<Row> df = session.read().format("bigquery").load()是否通过GBQ存储API工作？如果没有，如何使用BigQuery Storage API从GBQ读取到Spark？

Answer 1

1. Spark BigQuery连接器只使用BigQuery Storage API进行读取，例如，您可以在这里看到它。

2. 是的，Dataset<Row> df = session.read().format("bigquery").load()通过BigQuery Storage API工作。