Spark UI中的任务数



我是Spark的新手。我有几个关于Spark Web UI的问题:-

  • 我已经看到Spark可以为同一个创建多个Jobs应用它是在什么基础上创造工作岗位的?

  • 据我所知,Spark为一个作业创建了多个阶段,围绕着
    无序边界。此外,我了解到每个
    分区都有1任务。然而,我看到了一个特定的阶段(例如阶段1(创建的任务数少于默认任务数的特定作业shuffle分区值(例如,仅完成2/2(。我有也可以看到,相同作业的下一阶段(第2阶段(创建
    1500任务(例如,1500/1500已完成(,该阶段大于
    默认的shuffle分区值。

    那么,Spark如何确定它应该执行多少任务为要执行的任何特定阶段创建?

有人能帮我理解以上内容吗。

一瞬间的最大任务数取决于核心和执行数,不同阶段有不同的任务编号

相关内容

  • 没有找到相关文章

最新更新