如何重命名由aws胶水脚本编写的输出文件到s3位置?使用pyspark

Question

我希望在pyspark中使用aws glue重命名写入s3的输出文件。

如果有一个代码引用重命名文件后，s3作业运行，这将是非常有帮助的

Answer 1

不幸的是这是不可能的。Glue在底层使用Spark，它将这些名称分配给你的文件。

你唯一能做的就是在写完后重新命名它。