apache spark saveAsObjectFile默认写入hdfs

Question

• 当我在本地运行 spark 时（非 hdfs），RDD saveAsObjectFile 将文件写入本地文件系统（例如：路径/data/temp.txt）

• 当我在YARN集群上运行Spark时，RDD saveAsObjectFile将文件写入hdfs。（例如：路径/数据/温度.txt ）

在 YARN 集群上运行 Spark 时，有没有办法明确提及本地文件系统而不是 hdfs。

Answer 1

您可以在参数中显式指定"file:///"前缀。

yourRDD. saveAsObjectFile("file:///path/to/local/filesystem")