Sparksql using scala

Question

val scc = spark.read.jdbc(url,table,properties)
val d = scc.createOrReplaceTempView(“k”)    
spark.sql(“select * from k”).show()              

如果您在这里观察到 @1，我们正在阅读完整的表，然后 @3我们根据所需的查询来获取结果。在这里阅读完整的表，然后查询需要很多时间。我们不能在建立连接时执行查询吗？如果您对此有任何先验知识，请帮助我。

Answer 1

检查一下。

var dbTable =
        "(select emp_no, concat_ws(' ', first_name, last_name) as full_name from employees) as employees_name";
Dataset<Row> jdbcDF = 
        sparkSession.read().jdbc(CONNECTION_URL, dbTable,connectionProperties);