flink什么等效于scala-api中的parseQuotedString

Question

我正在尝试将此jave代码转换为scala:

DataSet<Tuple3<Long, String, String>> lines = env.readCsvFile("movies.csv")
.ignoreFirstLine()
.parseQuotedStrings('"')
.ignoreInvalidLines()
.types(Long.class, String.class, String.class);

到scala。我在scala中找不到parseQuotedStrings的任何替代方案，我将感谢在这里提供的任何帮助

Answer 1

以下代码使用flink的javaapi，对您提供的代码进行直译。

import org.apache.flink.api.java._
val env = ExecutionEnvironment.getExecutionEnvironment
val movies = env.readCsvFile("movies.csv")
.ignoreFirstLine()
.parseQuotedStrings('"')
.ignoreInvalidLines()
.types(classOf[Long], classOf[String], classOf[String])

你也可以使用flink的scala-api，类似于

import org.apache.flink.api.scala._
val env = ExecutionEnvironment.getExecutionEnvironment
val movies = env.readCsvFile[(Int,String,String)]
("movies.csv", ignoreFirstLine = true, quoteCharacter = '"', lenient = true)

AFAIKScala api没有java版本的流畅api。"宽"选项与"ignoreInvalidLines"相同，其他选项应该不言自明。