我有这个代码:
def main(args: Array[String]): Unit = {
// Creation of Spark Session
implicit val sparkSession = SparkSession.builder().appName("seco_trial").getOrCreate()
println("test")
val df = sparkSession.read.format("csv").option("header", "true").load("D:/Userfiles/mir/Downloads/extract_sec_mav2.csv")
println("test2")
我创建 val df 的行给我以下错误:
2018-09-17 14:27:24 警告文件流接收器:66 - 查找时出错 元数据目录。线程"main"java.io.IOException中的异常:否 方案的文件系统:D at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660( at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667( [...]
让我们排除错误的路径作为一个问题。 我的文件正确具有扩展名.csv
你能告诉我问题出在哪里吗? 为什么我无法加载文件?
我不知道为什么,但我必须在前面添加"fie:///"。