Py4JJava错误:java.io.io异常:方案C没有文件系统

Question

我正试图通过spark读取一个txt文件，下面是我使用的命令。

from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local[*]").getOrCreate()
sc = spark.sparkContext
Inp = sc.textFile("C://Users//XXXX//Downloads//number_list.txt")
list1 = lines.collect()

我得到以下错误。

Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: java.io.IOException: No FileSystem for scheme: C

我有Java 8和spark 2.4.5

我是PySpark的新手，非常希望能提供一些好的建议来了解更多PySpark。

Answer 1

您在macOS上运行吗？

我得到了相同的错误

方案无文件系统：C

当我运行我在网上找到的脚本时。

对于我的问题，这是因为原始脚本是在Windows上编写的，而我在macOS上运行它。

从更改线路后

sc.checkpoint("C:/checkpoint/")

类似

sc.checkpoint("/Users/me/Downloads/checkpoint/")

错误消失了。