将存储过程的结果获取到数据帧或 Rdd

Question

如何从存储过程的结果创建数据框？

  val jdbcDf = sqlContext.read.format("jdbc").options(Map(
    "driver" -> "com.microsoft.sqlserver.jdbc.SQLServerDriver",
    "url" -> jdbcSqlConn,
    "dbtable" -> "(exec aStoredProc) a" // Error
  )).load()

Answer 1

这在

逻辑上是不可能的，因为存储过程可以返回 0 个或多个结果集。

如果过程生成的行数很小，则可以在驱动程序应用程序中执行查询，并且可以将结果集转换为数据帧/数据集。例如，以下代码片段从 rw 结果集生成数据帧

val conn = DriverManager.getConnection("jdbc:mysql://database/schema?user=username&password=pass")
val rs = conn.createStatement.executeQuery("exec stored_procedure()")
val data = Iterator.continually((rs.next(), rs)).takeWhile(_._1).map({case (_,rs) => rs.getString("col1") -> rs.getString("col2")}).toList // get the necassary columns (here I am getting col1,col2)
sc.parallelize(data).toDF()

或者，可以修改存储过程以将结果集写入表中，并且可以读取表以创建数据帧。