如何为spark-csv提供parserLib和interschema选项

Question

sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema","true").option("parserLib", "UNIVOCITY").option("escape",""").load("file.csv")

当我使用上面的代码创建数据框架时，我得到以下错误:

ERROR Executor: task 0.0 in stage 1.0 (TID 1)java.lang.AbstractMethodError:com.databricks.spark.csv.readers.BulkCsvReader.aggregate (Ljava/lang/对象;Lscala/Function2; Lscala/Function2;) Ljava/lang/对象;

如果我避免parseLib选项它运行良好。我想将spark-csv解析器设置为Univocity，同时数据类型应该由spark csv使用interschema识别。

注意:我使用spark-csv 1.3(它不工作的任何版本)火花:1.6.2Scala: 2.10.5

谢谢。

Answer 1

我无法解决这个问题。但我找到了解决方案，在外部定义模式，并使用"唯一性"解析器读取csv。