Spark Scala选项卡文件读取并替换为空

Question

我有一组标签文件，我必须读取并保存在数据库（Cassandra）中。我可以加载所有在所有列中具有数据的表。但是某些表在某些列中具有空值，而这些表未插入。

我尝试了以下，

sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("delimiter", "/t").option("nullValue"," ").load(path)

以及

sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("delimiter", "/t").option("nullValue"," ").option(""," ").load(path)

两个选项都没有加载数据。任何输入？

Answer 1

我想我想了，

var df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("delimiter", "t").option("treatEmptyValuesAsNulls", "true").option("nullValue","").load(path)

这将每个空变为null，然后，

var df1 = df.na.fill(" ",df.columns)

我必须创建另一个DF才能得到填充反射。我仍然需要研究如何根据DTYPE动态填充。