如何在scala中上传CSV文件到给定的s3桶?

Question

我想上传一个CSV文件到给定的s3桶，这个CSV文件是通过使用df.csv(path)从数据帧传输的。现在，我将文件保存在本地，我想知道是否有一种方法可以将该文件上传到S3桶，如果给定S3桶的名称?

Answer 1

像这样应该可以工作

dataframe
.write
.option("header","true")
.csv("s3a://bucket/path/file.csv") 

关于https://sparkbyexamples.com/spark/write-read-csv-file-from-s3-into-dataframe/

的更多示例