使用python读取google bucket文件

Question

我必须读取xlsx格式的谷歌bucket文件。bucket中的文件结构看起来像

bucket_name
folder_name_1
file_name_1
folder_name_2
folder_name_3
file_name_3

python片段看起来像

def main():
storage_client = storage.Client.from_service_account_json(
Constants.GCP_CRENDENTIALS)
bucket = storage_client.bucket(Constants.GCP_BUCKET_NAME)
blob = bucket.blob(folder_name_2 + '/' + Constants.GCP_FILE_NAME)
data_bytes = blob.download_as_bytes()
df = pd.read_excel(data_bytes, engine='openpyxl')
print(df)
def function1():
print("no file in the folder") # sample error

在上面的片段中，我试图打开folder_name_2，它返回一个错误，因为没有文件可读取。

当任何文件夹中没有文件时，我都需要使用function1来打印错误，而不是抛出错误。

有什么想法吗？

Answer 1

我不熟悉GCP API，但您可能想做一些类似以下内容的事情：

try:
blob = bucket.blob(folder_name_2 + '/' + Constants.GCP_FILE_NAME)
data_bytes = blob.download_as_bytes()
except Exception as e:
print(e)

https://docs.python.org/3/tutorial/errors.html#handling-例外

Answer 2

我不确定你的最终目标是什么，但另一个逻辑是在bucket中列出可用资源，并对其进行处理。

首先，让我们定义一个函数，它将列出Bucket中的可用资源如果您想将研究限制在Bucket中的子文件夹中，则可以添加前缀

def list_resource(client, bucket_name, prefix=''):
path_files = []
for blob in client.list_blobs(bucket_name, prefix=prefix):
path_files.append(blob.name)
return path_files

现在您可以处理您的xlsx文件：

for resource in list_resource(storage_client, Constants.GCP_BUCKET_NAME):
if '.xlsx' in resource:
print(resource)
# Load blob and process your xlsx file