超过Lambda执行超时15分钟



我在15分钟后超过了Lambda执行超时。

原因是我有长期运行的操作,这些操作将数千行数据插入和更新到Salesforce中。

下面是正在逐一执行的代码:

sfdc_ops.insert_case_records( records_to_insert_df , sf)
sfdc_ops.update_case_records( records_to_update_df , sf)
sfdc_ops.update_case_records( unprocessed_in_IKM_df , sf)
sfdc_ops.update_case_records( processed_in_IKM_df , sf)

我最终不需要等待每一行。我真正想做的是同时启动所有4个更新和插入过程。

避免这种15分钟限制的最佳解决方案是什么?Step Functions?

建议对长时间运行的作业(如ETL作业(使用AWS步骤函数。您可以将四个更新操作拆分为单独的Lambdas,并在Step函数中协调它们以并行运行。

我会重新考虑您的方法。如果你超过了15分钟的限制,那么一个lambda函数对你来说是不起作用的。

你能把它分解成更小的功能吗?一个lambda执行插入,一个更新并使用Step函数编排它们?

您是否使用AWS Batch进行批量处理,而不是使用Lambda函数?

最新更新