从 BigQuery 读取数据并将其写入云存储上的 avro 文件格式

Question

我的目标是从BigQuery表中读取数据，并使用Java将其写入云存储上的Avro文件。如果有人提供代码狙击/想法来编写 BigQuery 表数据并使用云数据流将其写入 avro 格式数据，那就太好了。

Answer 1

可以将数据从 BigQuery 导出为 GCS 作为一次性导出的 Avro 格式，这可以通过客户端库(包括 Java(完成。以下是一些片段(完整的示例可以在 GitHub 中找到(，对于 java，您可以编写代码：

Job job = table.extract(format, gcsUrl);
// Wait for the job to complete
try {
Job completedJob =
job.waitFor(
RetryOption.initialRetryDelay(Duration.ofSeconds(1)),
RetryOption.totalTimeout(Duration.ofMinutes(3)));
if (completedJob != null && completedJob.getStatus().getError() == null) {
// Job completed successfully
} else {
// Handle error case
}
} catch (InterruptedException e) {
// Handle interrupted wait
}

格式变量可以是 CSV、JSON 或 AVRO，gcsUtl 变量应包含存储桶和文件的路径，例如 gs：//my_bucket/filename