如何在 Spark SQL 中指定多个表

Question

我有一个代码，我需要设置三个表。为此，我需要为每个表调用jdbc函数三次。请参阅下面的代码

val props = new Properties
    props.setProperty("user", "root")
    props.setProperty("password", "pass")
val df0 = sqlContext.read.jdbc(
  "jdbc:mysql://127.0.0.1:3306/Firm42", "company", props)
val df1 = sqlContext.read.jdbc(
  "jdbc:mysql://127.0.0.1:3306/Firm42", "employee", props)
val df2 = sqlContext.read.jdbc(
  "jdbc:mysql://127.0.0.1:3306/Firm42", "company_employee", props)
df0.registerTempTable("company")
df1.registerTempTable("employee")
df2.registerTempTable("company_employee")
val rdf = sqlContext.sql(
  """some_sql_query_with_joins_of_various_tables""".stripMargin)
rdf.show

是否可以简化我的代码？或者，也许有某种方法可以在 SQL 配置中的某处指定多个表。

Answer 1

DRY：

val url = "jdbc:mysql://127.0.0.1:3306/Firm42"
val tables =  List("company", "employee", "company_employee")
val dfs = for {
    table <- tables
} yield (table, sqlContext.read.jdbc(url, table, props))
for {
  (name, df) <- dfs
} df.registerTempTable(name) 

不需要数据框？跳过第一个循环：

for {
  table <- tables
} sqlContext.read.jdbc(url, table, props).registerTempTable(table)