火花中有效的内存管理



是否有Spark

中有效内存管理的定义标准

如果我最终创建了几个数据范围或RDD,然后继续使用JOINS和CONCREGATIONS减少数据?

怎么办?

这些数据范围或RDD仍将持有资源,直到会话或作业完成?

没有。Spark(RDD)中主实体的寿命是通过其谱系定义的。当您的工作打来电话时,整个DAG将开始执行。如果成功执行该作业,Spark将发布所有保留资源,否则将尝试重新执行失败的任务并根据其谱系重建丢失的RDD。

请检查以下资源以熟悉这些概念:

火花中的谱系是什么?

RDD谱系图与Spark中的定向无环图(DAG)有什么区别?

相关内容

  • 没有找到相关文章

最新更新