如何使用云功能读取云存储数据中的数据

Question

我正在尝试使用python制作一个云函数，该函数从云存储中的一个目录中读取包含表模式的json文件，并从这些模式中在bigquery中创建表。

我曾尝试过访问云存储，但没有成功，之前我在谷歌colab中开发了类似的东西，从驱动器上的目录中读取这些模式，但现在情况似乎大不相同。

有人能帮我吗？

Answer 1

您可以使用GCP的云功能解决方案指南将云存储中的流式数据检查到BigQuery中。

如果您想要不同的方法，可以参考GCP文档中的下载对象指南，从GCS检索数据，请参阅下面的示例代码。

from google.cloud import storage

def download_blob(bucket_name, source_blob_name, destination_file_name):
"""Downloads a blob from the bucket."""
# bucket_name = "your-bucket-name"
# source_blob_name = "storage-object-name"
# destination_file_name = "local/path/to/file"
storage_client = storage.Client()
bucket = storage_client.bucket(bucket_name)
blob = bucket.blob(source_blob_name)
blob.download_to_filename(destination_file_name)
print(
"Blob {} downloaded to {}.".format(
source_blob_name, destination_file_name
)
)

Answer 2

您可以创建云功能并从云存储中的文件读取下载数据

def loader(event, context):
"""Triggered by a change to a Cloud Storage bucket.
Args:
event (dict): Event payload.
context (google.cloud.functions.Context): Metadata for the event.
"""
try:
file_name = event['name']
bucket_name = event['bucket']
client = storage.Client()
bucket = client.get_bucket(bucket_name)
file_blob = storage.Blob(file_name, bucket)
data = file_blob.download_as_string().decode()

一旦获得了数据，就可以在BigQuery中创建表。