我刚从网站下载了Spark 2.2,并创建了一个简单的项目,其中包含此示例。
代码是这样:
import java.util.Properties
import org.apache.spark
object MysqlTest {
def main(args: Array[String]) {
val jdbcDF = spark.read
.format("jdbc")
.option("url", "jdbc:mysql://localhost/hap")
.option("dbtable", "hap.users")
.option("user", "***")
.option("password", "***")
.load()
}
}
问题是显然 spark.read
不存在。
我想Spark API的文档不是最新的,示例不起作用。我很喜欢一个工作的例子。
我认为您需要这个:
import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder()
.appName("Yo bro")
.getOrCreate()
文档应该是正确的,但是您跳过了解释初始化的strt。#起跑点SparkSession
jundent whith spark文档是 spark
是一个 SparkSession
实例,因此需要首先创建。您可以使用SparkSessionBuilder
。
val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate()
// For implicit conversions like converting RDDs to DataFrames
import spark.implicits._