如果在Spark中为大/小数据集设置了高值的set-num-executor，会发生什么

Question

我正试图找到两个问题的答案

1. 在Yarn集群环境中，假设我设置了--num-executor 100，并且我们想要处理像20 TB这样的大数据集。请考虑其他应用程序已经在运行。启动我的应用程序后会发生什么？应用程序会等到它有100个执行者，还是会启动
2. 上面的问题带有小数据集

你能帮忙吗？

Answer 1

1. 在Yarn集群环境中，假设我设置了--num-executor 100，并且我们想要处理像20 TB这样的大数据集。请考虑其他应用程序已经在运行。启动我的应用程序后会发生什么？应用程序会等到它有100个执行者，还是会启动

First Yarn Resource Manager将检查是否有任何资源可供您的作业运行，直到您的作业申请状态处于ACCEPTED状态。一旦资源可用，您的应用程序状态将进入RUNNING状态。如果您将--num-executor指定为100或1000 executor，则无所谓。。Yarn资源管理器仅根据资源可用性启动执行器的数量。如果您的集群是免费的，并且有能力运行"；N〃；执行人，那么它将启动"；N〃；否则，这取决于集群中的资源可用性

注意：当您同时在集群中运行多个应用程序时，Yarn-Schedual(Fair或Capacity(也扮演着重要的角色。