重命名在Spark创建的文件

Question

通过写入HDFS创建的文件具有其自己的命名约定。要将其更改为自定义名称，使用hadoop fs -mv oldname newname

可以通过脚本进行选项

Spark/Hadoop中是否有其他选项可为创建的文件提供自定义名称。

Answer 1

Apache Spark不为HDFS中的文件系统操作提供任何API。但是，您始终可以使用Hadoop文件系统API来重命名HDFS中的文件。检查此信息以获取更多可用的Hadoop文件系统API的详细信息。对于重命名，以下内容将起作用：

val conf = new Configuration();
val fileSystem = FileSystem.get(conf);
fileSystem.mkdir(new Path(newhdfs_dirPath));
fileSystem.rename(new Path(existinghdfs_dirpath+oldname), new Path(newhdfs_dirPath+newname));