我有一个sql脚本,它创建仅对该会话有效的临时表。现在运行脚本后,我尝试通过 Spark 从表中读取数据,然后对其进行处理。下面是我有用于火花读取的代码。
sparkSession.read().format("jdbc").option("url",
jdbcURL).option("dbtable", tableOrQuery).option("user",
userName).option("password", password)
.option("driver", driverName).load();
现在我需要传递我创建的 jdbc 连接,以便 Spark 可以在同一会话中读取数据。这可能吗?
不可以,您不能将 jdbc 连接传递给 Spark。它将自行管理 JDBC 连接。
JdbcRelationProvider Create Connection
JdbcUtils connect