如何通过Linux使用Databricks集群运行spark sql查询?



我想在Databricks集群上从Linux机器执行spark sql命令。有什么办法可以做到这一点吗?我在一个。sql文件中设置了一组spark sql命令,并希望在Linux机器中使用Databricks集群执行此文件。我正在寻找类似于SQLPLUS的东西,在那里我们与DB连接并执行sql,以类似的方式,我们是否有任何实用程序/解决方案来执行Databricks集群上的spark sql。

您可以使用ODBC, JDBC, HTTP或thrift协议连接到Databricks集群。在任何情况下,您都需要一个具有足够权限的访问令牌。

我正在使用IntelliJ DataGrip通过JDBC连接。我必须配置数据块驱动程序并使用这个URI。

jdbc:spark://mycompany.cloud.databricks.com:443/default;transportMode=http;ssl=1;httpPath=sql/protocolv1/o/<MY-DATABRICKS-ORGAINZATION-ID>/<MY-DATABRICKS-CLUSTER-ID>;AuthMech=3;UID=token;PWD=<MY-DATABRICKS-TOKEN>

我相信任何现代SQL客户端都应该能够连接,因为Databricks正在暴露标准接口。

这是来自databricks的官方文档https://docs.databricks.com/integrations/bi/jdbc-odbc-bi.html

最新更新