我正在EMR上运行Hive+Tez,我想了解一下Tez如何与YARN交互。
我在这篇文章中读到:
将tez.am.resource.memory.mb设置为与yarn.scheduler.miminimum-allocate-mb(yarn最小容器大小(相同
将hive.tez.contanger.size设置为与YARN容器大小YARN.scheduler.miminimum-allocation-mb相同或小倍数(1或2倍(,但永远不要超过YARN.schuduler.maximum-allocate-mb。您希望为要旋转的多个容器留出空间。
这听起来像是Tez容器是与YARN容器分开配置的。这是真的吗?从一般文档来看,Tez似乎是YARN容器的替代品,这意味着您可以设置Tez容器大小,并可以忽略原始YARN容器大小。
简而言之:Tez容器是在YARN容器的内部运行,还是Tez容器运行YARN容器中的
tez-site.xml是独立的,是的。因为如果没有它,泰兹将不知道如何独自奔跑。
Tez更像是mapreduce的替代品,而不是YARN
如果你运行一个Tez作业,它会显示在YARN UI中。
因此,Tez容器(任务的一部分(被分配到YARN Tez作业(运行由Tez容器组成的YARN容器的集合(