在GCP中编写Parquet查询集的建议方法



我有一个针对SQL Server实例运行的查询,需要5分钟到75分钟才能完成。响应大小从几行到1GB不等。我有一个拼花作家,只需要等到查询完成和结果发送回来,它会写的结果到谷歌云存储。

实现这一目标的最佳产品是什么,他们的产品是否几乎不需要启动时间?我想到的两个是Cloud Functions和Cloud Run,但我从来没用过。

两项服务都不能满足您75分钟的要求。

Cloud Functions在540秒时超时。

云功能时间限制

Cloud Run超时60分钟。

云运行请求超时时间

对于这种类型的运行时,我会在Compute Engine container - optimized OS中启动一个容器。

Container-Optimized操作系统

可以配置Cloud Runcpu-throttling这样你就可以在后台运行任务。

使用新的CPU分配控件在Cloud Run上运行更多工作负载

请注意,您将以恒定的基础为服务付费,因为它不再按需运行服务(容器)。

相关内容

  • 没有找到相关文章

最新更新