纱线容器、火花执行器和EMR中可用的节点之间的关系是什么



假设我有一个包含1个主节点、3个核心节点和5个任务节点的集群。如果我在YARN集群模式下运行spark作业,驱动程序将在主节点上运行(主节点也能运行executor吗?(,每个容器可以有X个executor。我有3+5=8个集装箱吗?或者只有3个容器,因为只有核心节点可以存储数据?

此外,如果我有两个spark作业同时运行,那么我是每个节点得到2个独立的容器,每个spark作业得到1个容器,还是两个spark作业的执行器每个节点共享1个容器?

如果用户可以设置Yarn容器的数量,即每个容器的总内存,那么节点的物理数量是否重要?

如果我在YARN集群模式下运行spark作业,驱动程序将在主节点

Spark驱动程序不在主节点上运行。主节点仅用于Yarn/资源管理器,Spark驱动程序在核心节点上运行。

如果运行两个Spark作业,两个作业都将在单个节点或不同节点中的单独容器上运行。

驱动程序运行在核心节点上,任务执行器通常运行在任务节点上,但您可以将它们配置为运行在核心/任务节点上。