org.apache.spark.sql.analysisexception:不存在路径

Question

我正在遇到问题，试图读取作为脂肪jar中资源存储的镶木quet文件，因此我尝试了遵循读取资源文件并将其复制到磁盘上的代码：

的代码：

val inputFile = "test.parquet"
val parquetFile = "/part-r-00000-2185f9a7-ea70-41be-95d2-e9f70f93c43b.parquet"
FileUtils.copyInputStreamToFile(Main2.getClass.getResourceAsStream(parquetFile), new File(inputFile))
    LOGGER.info("saved resource to external file")

此代码成功运行。但是，当我尝试使用以下方式读取文件时

spark.sqlContext.read.parquet(inputFile)

我得到此错误：

ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: Path does not exist: hdfs://nameservice1/user/me/test.parquet

我该如何解决？我只想能够读取存储在fat-jar中的资源的镶木文件。我尝试了很多事情，但它们都没有用。

Answer 1

FileUtils.copyInputStreamToFile

将胖罐中文件的输入流复制到分布式文件系统中的本地文件系统，即HDFS。尝试以下代码应起作用

spark.sqlContext.read.parquet("file:////<  absolute path of inputFile >")