谷歌将驱动器共享到BigQuery连接器



我想写一个python连接器,它将把Google Drive(共享驱动器(上新添加的CSV移动到BigQuery。

我知道目前不支持从驱动器将数据加载到BigQuery中,但您可以使用外部表在驱动器中查询数据。

例如,从GC存储,很容易实现数据的自动流动,但不确定如何连接到Google Drive API(共享驱动器(,搜索新添加的CSV(在许多目录中(并将其作为表添加到BigQuery。

我认为不可能在BigQuery中搜索新添加的CSV和目录。如果你查看BigQuery中查询Google Drive的文档,你会发现你需要指定Drive URI来查询Google Drive中的表,这对每个文件都是唯一的。

不过,您可以在Google Drive中使用AppScript来实现这一点。查看这篇文章,了解如何做到这一点的教程。

最新更新