SQL Server to Big Query DDL

Question

我是大查询的新手，正在寻找将所有表结构从SQL Server迁移到大查询的方法。需要创建近 300 个表。有没有办法自动完成此操作或在更短的时间内完成此操作。请对此有所了解，因为我认为许多人会完成这项任务。

提前感谢，

文卡特。

Answer 1

我最近写了一篇关于这个主题的博客文章

https://ael-computas.medium.com/copy-sql-server-data-to-bigquery-without-cdc-c520b408bddf

我还在pypi上发布了一个软件包，您可以将其用作集成的基础

from database_to_bigquery.sql_server import SqlServerToCsv, SqlServerToBigquery
sql_server_to_csv = SqlServerToCsv(username="scott",
password="t1ger",
host="127.0.0.1//optionalinstance_name",
database="thedb",
destination=f"gs://gcsbucketname")
bigquery = SqlServerToBigquery(sql_server_to_csv=sql_server_to_csv)
result = bigquery.ingest_table(sql_server_table="table_to_read",
sql_server_schema="dbo",
bigquery_destination_project="bigqueryproject",
bigquery_destination_dataset="bigquerydataset")
print(result.full_str())

只是获取架构可能是这样的。

columns, pks = sql_server_to_csv.get_columns("table", "dbo")
bigquery.write_bigquery_schema(columns, "/path/to/file")
# /path/to/file can be in cloud storage, ie - gs://foo/bar.json

它确实对数据类型做出了一些假设，您可能想要覆盖这些假设，这是完全可能的。