无法从本地目录读取spark程序中的文件



我无法读取spark程序中的本地csv文件。我正在使用PyCharm IDE。虽然我可以使用position参数来读取文件,但不能使用文件位置。有人能帮忙吗?

// code
# Processing logic here...
flightTimeCsvDF = spark.read 
.format("csv") 
.option("header", "true") 
.load("data/flight*.csv")
# .load(sys.argv[1])

\error
Exception in thread "globPath-ForkJoinPool-1-worker-1" java.lang.UnsatisfiedLinkError: 'boolean org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(java.lang.String, int)'
at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:793)
at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:1218)
at org.apache.hadoop.fs.FileUtil.list(FileUtil.java:1423)
at org.apache.hadoop.fs.RawLocalFileSystem.listStatus(RawLocalFileSystem.java:601)
at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:1972)
at org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:2014)
at org.apache.hadoop.fs.ChecksumFileSystem.listStatus(ChecksumFileSystem.java:761)
at org.apache.hadoop.fs.Globber.listStatus(Globber.java:128)

在此处输入图像描述

请使用绝对路径。从所附图片来看,我相信使用以下内容将有助于解决问题。

.load("C:\Users\psultania\Anaconda3\envs\04-SparkSchemaDemo\data\flight*.csv")

如果输入CSV使用不同的目录,请相应地更改目录定义。

是的,它使用绝对路径工作

最新更新