我是apache spark新手。
我的要求是,当用户点击Web UI时,查询需要传递到Spark集群,从集群获取数据并更新UI。
我想知道,如何通过Spark SQL查询并获得结果集?
Spark为此提供了Thrift服务器(通过JDBC/ODBC运行SQL查询)。如果您使用Java作为中间层,请使用JDBC连接spark Thrift服务器作为数据库,并传递/运行任何SQL(支持spark)
通常你必须编写一个web应用程序,通常带有REST接口,并在服务器端REST处理程序中实现Spark SQL。
您可以使用Apache Livy。详细信息:https://livy.incubator.apache.org/