我正在尝试创建一个访问网站并将CSV文件下载到云存储的云功能。
我设法使用无头铬和chromedriver访问站点。
在我的本地环境中,我可以设置如下的下载目录
options.add_experimental_option("prefs", {
"download.default_directory": download_dir,
"plugins.always_open_pdf_externally": True
})
其中download_dir
类似于"/usr/USERID/tmp/"
如何在云功能我可以分配值,使它指向正确的云存储?
据我所知,GCS bucket不能作为本地驱动器挂载在用于云功能的运行环境中。
因此,您可能需要将源csv
文件下载到云功能内存中并保存,例如,作为"/tmp"目录。
然后,您可以从该位置将其上传到GCS桶中。这里提供了如何上传的更详细的解释:将文件从/tmp文件夹移动到Google Cloud Storage bucket
注意:云函数有一些限制-即内存和超时。确保(在部署期间)分配了足够的内存和时间来处理csv
文件。
此外,请确保云功能使用的服务帐户具有讨论中的GCS桶的相关IAM角色。