为什么Spark JDBC即使指定了模式也会推断表模式

Question

我正在使用spark.read.format("jdbc").option("query", tmpSql)从Mysql加载一个表，我可以从数据库监视器中看到一个查询select * from (xxx) where 1=0，后来我知道这个查询用于推断Spark中的表模式。然而，当我使用spark.read.format("jdbc").option("query", tmpSql).schema(xxx)时，表模式推断查询仍然存在。既然已经指定了customSchema，为什么Spark仍然需要推断表模式？

Answer 1

尝试使用spark-jdbc的customSchema参数。

.option("customSchema", schema_str)