上传大型excel文件到Big Query



如何上传大型excel文件和数据集(大于10 mb)到大查询?有人能帮忙吗?

我试着研究一种方法来做这件事,但我发现的每件事都有点复杂。我刚开始使用SQL,没有太多经验。

!!回答前请注意。

下面的答案将产生成本。您可以使用——dry-run来估计为bq处理的字节数,然后将其与定价计算器结合使用:

https://cloud.google.com/products/calculator/

你想要实现的,可以通过从谷歌云存储桶加载数据集。

为了方便新用户使用,这里有一个"指南"。关于如何上传大于10mb的数据集的GCP选项

GCP指南"网站

别忘了先估算一下成本。

这个页面引用了一个如何使用Google Storage URI的例子:

bq load 
--source_format=CSV 
mydataset.mytable 
gs://mybucket/mydata.csv 
./myschema.json

再次使用定价计算器来估算成本。

为了能够在特定项目上创建桶,您需要特定的IAM权限,也在这里引用

最新更新