从java spark的REST API读取csv

Question

如何从REST API中读取csv并在java spark中处理它，

基本上我正在寻找以下scala代码的java等效代码

process-csv-from-rest-api-into-spark

import scala.io.Source._
import org.apache.spark.sql.{Dataset, SparkSession}
var res = fromURL(url).mkString.stripMargin.lines.toList
val csvData: Dataset[String] = spark.sparkContext.parallelize(res).toDS()
val frame = spark.read.option("header", true).option("inferSchema",true).csv(csvData)
frame.printSchema()

Answer 1

我们可以使用下面链接中提到的方法读取数据并在列表中添加每一行。

这个列表可以传递给parallelise()

Java从web读取CSV文件