当通过Thrift接口执行查询时,如何告诉它通过YARN运行查询?
我正在尝试让Spark的JDBC/ODBC Thrift接口在YARN上运行Spark-SQL调用。文档中似乎没有这种组合。Spark on YARN 文档提供了一堆选项,但没有描述将它们放入哪个配置文件中,以便 Thrift 服务器会拾取它们。
我看到了 spark-env.sh 中提到的一些设置(内核、执行程序内存等(,但我无法弄清楚首先在哪里告诉它使用 YARN。
为了使 Thriftserver 使用 YARN 执行,必须使用 "--master yarn" 参数启动 thriftserver。此参数可以附加到 sbin/start-thriftserver.sh。在此处追加它会将其传递到 Spark-submit 脚本,该脚本使用该执行器启动服务器。
配置文件中没有等效项。