Spark SQL如何通过联接操作执行SQL查询

Question

对于以下在spark sql中运行sql语句以连接PostgreSQL中的两个表的操作：

val df = spark.read.jdbc(url, 'select * from table_1 join table_2 on a where x', connproperties);

数据库引擎会执行联接操作并发回联接结果吗？还是数据库会将表_1和表_2的所有记录发送给spark job，由spark jobs进行连接？是否有一些文档可以解释此操作？谢谢

Answer 1

PostgreSQL数据库将只从单个查询返回单个结果集。如果使用有效的SQL，则可能是联接的结果。或者什么都不做，以防没有符合您条件的记录。