控制在 Spark Thrift 服务器中运行 sql 时的执行程序数量

Question

我有一个Spark Thrift服务器，用户可以向这个服务器提交spark sql。

我想我可以控制将用于运行用户 sql 的执行程序的数量。也就是说，我不希望执行器会得到尽可能多的(稍后提交的sql可能需要等待(

我想问这是否可能。

Answer 1

这控制最大和最小执行程序的数量，但静态地：

spark.dynamicAllocation.maxExecutors
spark.dynamicAllocation.minExecutors

动态地，afaik，这是不可能的。