如何重命名粘贴作业输出文件名

Question

我正在创建一个粘贴作业，其中输出存储在s3存储桶中。S3路径如下：

DF.write.format('csv').mode("overwrite").save("s3://test",header='true')

我想要一个用户定义的输出文件名，应该附加系统日期。

例如：test20180101.csv

Answer 1

您可以尝试以下操作：

DF.write.format('csv').mode("overwrite").save("s3://test/test20180101.csv",header='true')

Answer 2

您可以看到这个答案-https://stackoverflow.com/a/65631582/11842006

不要使用代码中给定的分区。

对于系统日期，您可以使用日期时间-

from datetime import datetime
today = datetime.today() #will given the current date. 

将today追加到copy_object的Key中。