是否有Spark
中有效内存管理的定义标准如果我最终创建了几个数据范围或RDD,然后继续使用JOINS和CONCREGATIONS减少数据?
怎么办?这些数据范围或RDD仍将持有资源,直到会话或作业完成?
没有。Spark(RDD)中主实体的寿命是通过其谱系定义的。当您的工作打来电话时,整个DAG将开始执行。如果成功执行该作业,Spark将发布所有保留资源,否则将尝试重新执行失败的任务并根据其谱系重建丢失的RDD。
请检查以下资源以熟悉这些概念:
火花中的谱系是什么?
RDD谱系图与Spark中的定向无环图(DAG)有什么区别?