在 AWS EMR 上设置 Spark Thrift Server 以建立 JBDC/ODBC 连接



如何在 EMR 上设置 Spark Thrift Server?我正在尝试使用 Spark Thrift Server 与 EMR 建立 JDBC/ODBC 连接。例如

直线> !连接 JDBC:Hive2://10.253.3.5:10015

我们执行以下操作来重新启动 Hive-Server2 -

sudo stop hive-server2 sudo stop hive-hcatalog-server sudo start hive-hcatalog-server sudo start hive-server2

不确定在 AWS EMR 上重新启动 Spark Thrift Server 的服务是什么,以及如何设置用户 ID 和密码。

我们需要通过在 EMR 上执行以下命令来启动 Spark 节俭服务器-

sudo/usr/lib/spark/sbin/start-thriftserver.sh --master yarn-client

默认端口为 10001

测试连接如下 -/usr/lib/spark/bin/beeline -u 'jdbc:hive2://x.x.x.x:10001/default' -e "show databases;">

Spark JDBC驱动程序可用于从任何应用程序连接到Thrift服务器

最新更新