将大量.bak文件转换为.parquet以上传到BigQuery



我在Google Drive上有12个文件,每个大约20GB,它们是.bak文件格式的数据库备份。我想把它们上传到BigQuery进行分析,但BigQuery无法处理.bak文件,需要csvparquet文件。我目前正计划将每个文件下载到本地机器,上传到Microsoft的SQL Studio,将其转换为.parquet,然后从我的本地机器(笔记本电脑(将文件上传到BigQuery,但这是漫长而痛苦的。有更好的方法吗?

我也有同样的问题,最糟糕的步骤是将.bak文件复制到存储帐户。在具有大量内存的VM上创建SQL,然后运行ADF将SQL数据复制到Parquet。除非其他人有更好的选择。

到目前为止没有什么乐趣,我看到的唯一答案是使用Azure CI和Docker将.bak转换为bacpac,并将其还原为SQL实例:

https://devblogs.microsoft.com/azure-sql/using-an-azure-container-instance-to-convert-a-bak-to-bacpac-for-import-into-azure-sql-database/

最新更新