如何上传大型excel文件和数据集(大于10 mb)到大查询?有人能帮忙吗?
我试着研究一种方法来做这件事,但我发现的每件事都有点复杂。我刚开始使用SQL,没有太多经验。
!!回答前请注意。
下面的答案将产生成本。您可以使用——dry-run来估计为bq处理的字节数,然后将其与定价计算器结合使用:
https://cloud.google.com/products/calculator/
你想要实现的,可以通过从谷歌云存储桶加载数据集。
为了方便新用户使用,这里有一个"指南"。关于如何上传大于10mb的数据集的GCP选项
GCP指南"网站
别忘了先估算一下成本。
这个页面引用了一个如何使用Google Storage URI的例子:
bq load
--source_format=CSV
mydataset.mytable
gs://mybucket/mydata.csv
./myschema.json
再次使用定价计算器来估算成本。
为了能够在特定项目上创建桶,您需要特定的IAM权限,也在这里引用