如何从云功能在谷歌存储桶中以二进制模式打开文件

Question

在我的云函数中，我需要在云存储中获取一个文件，并通过HTTP POST请求将该文件发送到API。我尝试了以下代码：

storage_client = storage.Client()
bucket = storage_client.bucket(BUCKET_NAME)
source_blob_name = "/compressed_data/file_to_send.7z"
blob = bucket.blob(source_blob_name)
url = UPLOADER_BACKEND_URL
files = {'upload_file': blob}
values = {'id': '1', 'ouid': OUID}
r = requests.post(url, files=files, data=values)

它给出了一个错误：

Traceback (most recent call last): File "/env/local/lib/python3.7/site-packages/google/cloud/functions/worker_v2.py", ... 
 line 90, in encode_multipart_formdata body.write(data) TypeError: a bytes-like object is required, not 'Blob'

如果这个代码在一个实际的虚拟机上运行，下面的代码会起作用：

url = UPLOADER_BACKEND_URL
files = {'upload_file': open('/tmp/file_to_send.7z','rb')}
values = {'id': '1', 'name': 'John'}
r = requests.post(url, files=files, data=values)

所以问题是：在云函数中，如何从云存储加载文件，使其具有与pythonopen(filename, 'rb')函数相同的输出？

我知道我可以先做blob.download_to_file()，然后再做open()文件，但我想知道是否有更快的方法。

Answer 1

在您的云函数引用中，您不向API调用提供Blob内容，而只提供Blob引用(文件路径+Bucket名称(。

实际上，您可以在内存文件系统/tmp目录中本地下载该文件。然后将该tmp文件作为任何文件处理上传后不要忘记删除

您还可以尝试使用gcsfs库，在那里您可以以python惯用方式处理文件。当我调用API时，我从未尝试过这样做，但它应该可以工作。

Answer 2

我尝试使用

with blob.open("rb") as f:

更多信息：

如何在不写入文件系统的情况下使用Python将数据从谷歌云存储传输到SFTP