如何将JSON从s3转换为CSV文件，并使用Glue job将其保存在同一个s3桶中

Question

请帮我做一下编码部分

我搜索了代码，但它只显示使用lambda处理程序。我的项目需要使用gluejob

Answer 1

在这里你可以找到将json转换为csv的答案。

GlueContext glueContext = new GlueContext(Spark.getActiveSession())
val jsonDf = glueContext.getSource(
connectionType = "s3",
connectionOptions = JsonOptions(Map("paths" -> "s3://:sourcePath/data.json")),
format = "json",
transformationContext = "jsonDf"
)
val dataDf = jsonDf.toDF()
val csvRDD = dataDf.repartition(1).rdd.map(_.mkString(","))
csvRDD.saveAsTextFile("s3://sourcePath/data.csv")