我想创建一些通用的管道，在那里我可以传递表名或自定义SQL作为输入，并从BigQuery加载所需的数据到SQL Server。这个管道应该处理每日增量数据负载和初始历史负载(大约100 GB)。
我试图通过Apache Beam (Dataflow)创建它，在那里我面临着一些编码挑战，但在深入研究Dataflow开发之前，我想了解从BigQuery提取数据并将其加载到Oracle, SQL Server, Postgres等任何数据库的最佳方法?除了数据流之外，还有什么方法是最佳优化的方法吗?
你可以试试Dataflow Templates (https://cloud.google.com/dataflow/docs/guides/templates/provided-templates)，它为BigQuery提供了一些预定义的Beam管道作为源。