Spark:保存为文本文件()在写入本地文件系统时只创建成功文件，没有部分文件

Question

我正在使用以下命令将RDD写入文件：

rdd.coalesce(1).saveAsTextFile(FilePath)

当文件路径是HDFS路径(hdfs://node:9000/folder/(时，一切正常。

当文件路径是本地路径(file:///home/user/folder/(时，一切似乎都正常。将创建输出文件夹，并且还存在SUCCESS文件。

但是我没有看到任何包含输出part-00000文件。没有其他文件。火花控制台输出中也没有错误。

在调用 RDD 之前，我还尝试在 RDD 上调用 collect saveAsTextFile()，为输出文件夹提供777 permission，但没有任何效果。

请帮忙。

Answer 1

仅在使用母版时保存到本地制作效果local

Answer 2

为了将 Spark 对象保存到本地驱动程序文件系统，您需要使用 collect() ，然后自己打开一个文件以将该集合写入其中。

否则，例如，如果您作为 YARN 作业的一部分运行，则应查看运行 Spark 作业的节点管理器的本地文件系统