Python HTTPS请求:从GCP获取文件并将其发送到另一个位置



我有一个脚本,它扫描本地文件夹,并通过POST请求将一些文件上传到SQL Server。我很想修改它,从GCP存储桶中获取文件,而不是从本地存储中获取文件。然而,我没有GCP的经验,我很难找到支持我尝试做的事情的文件。我有几个问题要问以前尝试过这样的事情的人:

  1. GET请求是将GCP存储桶文件复制到其他位置的最佳方式吗?I.e有没有办法把我的脚本直接放入GCP,只使用我已经有的POST请求,引用bucket而不是文件夹
  2. 如果GET请求是最好的方式,那么有人知道有什么好的资源可以了解使用GCP的HTTPS请求吗?(不确定如何创建GET请求/谷歌需要什么信息(
  3. 在我的GET请求之后(如果这是最好的方法(,文件是否必须在向SQL server发出POST请求之前下载到我的计算机上,或者有没有任何方法可以在不必下载的情况下发送要上传的文件

如果你想用云存储取代你的本地存储,你需要知道

  • 如果您使用符合linux的操作系统,那么最透明的是使用GCSFuse。您将能够在本地目录中装载云存储桶,并将其作为本地存储进行工作然而,GCSFuse是一个将系统调用转换为HTTP调用的包装器,延迟、功能和性能完全不同。

  • 当你在云存储上搜索文件时,你只能用前缀搜索,而不能用后缀搜索(如果你寻找特殊的扩展名,如.sql或.csv,这是不可能的(。

  • 在将文件内容发送到数据库之前,必须先在本地下载该文件内容。除非您的数据库中有一个模块/扩展,能够从URL或直接从云存储读取数据(这不应该存在(。

  • gsutil是处理云存储文件的最佳工具

相关内容

最新更新