我是Spark的新手。我有几个关于Spark Web UI的问题:-
-
我已经看到Spark可以为同一个创建多个Jobs应用它是在什么基础上创造工作岗位的?
-
据我所知,Spark为一个作业创建了多个阶段,围绕着
无序边界。此外,我了解到每个
分区都有1
任务。然而,我看到了一个特定的阶段(例如阶段1(创建的任务数少于默认任务数的特定作业shuffle分区值(例如,仅完成2/2
(。我有也可以看到,相同作业的下一阶段(第2阶段(创建1500
任务(例如,1500/1500
已完成(,该阶段大于
默认的shuffle分区值。那么,Spark如何确定它应该执行多少任务为要执行的任何特定阶段创建?
有人能帮我理解以上内容吗。
一瞬间的最大任务数取决于核心和执行数,不同阶段有不同的任务编号