我的目标是允许用户将相对较大的数据集导入MongoDB(托管在mongo云上(。API 服务器托管在容器引擎中，它没有任何其他负载如此大的操作(只有简单的 CRUD 操作(。
用户将.csv文件(最大 100mb(上传到 GCP Bucket，从那里我需要验证并将 csv 文件中的每一行更新到 MongoDB 中，然后根据导入的数据进行一些计算。这是否适合 GCP 云功能？我有点担心 540 秒的执行持续时间限制。
这似乎是Apache Beam/Dataflow的一个很好的用例。使用 Beam 2.2，您可以使用 TextIO.read().from(...).watchForNewFiles(...) 编写一个流式处理管道，该管道将持续摄取存储桶中的新文件 - 请参阅 javadoc。