从GCS读取数据并加载到CLOUD SQL中

Question

我是GCP和Python的新手。

我正在尝试读取谷歌云存储中的csv文件，并使用Python将数据写入云sql表。有人能帮我吗。任何帮助都将不胜感激。

感谢

Answer 1

如果没有更新/清理数据，就不应该读取和加载数据。您可以使用云SQL从云存储加载CSV功能。它也适用于PostgreSQL(页面顶部对此进行了更改(

您是否需要在Python中调用REST API的代码示例？(今天这很基本，但也许安全性会让你烦恼！(

Answer 2

使用GCS操作时，我喜欢使用谷歌云存储。该包基本上是GCloud的API的包装器。

以下是如何使用此库：

from google.cloud import storage
# create the client
path_to_service_account = "path/foo.json"
client = storage.Client.from_service_account_json(path_to_service_account)
# get the bucket
bucket_name = "my-bucket"
bucket = client.lookup_bucket(bucket_name)
# loop through the bucket to get the resource you want
for resource in bucket.list_blobs(prefix="dir-name/"):
# file type doesn't need to be a csv...
if resource.endswith("my_file.csv"):
my_blob = bucket.get_blob(resource)
my_blob_name = resource.split("/")[-1]
my_blob.download_to_filename(os.path.join("save-dir", my_blob_name))
# finally, load the file from local storage:
...