Spark 数据帧架构可为空字段

Question

我在Scala和Python中编写了以下代码，但是返回的数据帧似乎没有应用我正在应用的模式中的不可为空字段。 italianVotes.csv是一个 csv 文件，其中"~"作为分隔符和四个字段。我正在使用Spark 2.1.0。

意大利投票.csv

2657~135~2~2013-11-22 00:00:00.0
2658~142~2~2013-11-22 00:00:00.0
2659~142~1~2013-11-22 00:00:00.0
2660~140~2~2013-11-22 00:00:00.0
2661~140~1~2013-11-22 00:00:00.0
2662~1354~2~2013-11-22 00:00:00.0
2663~1356~2~2013-11-22 00:00:00.0
2664~1353~2~2013-11-22 00:00:00.0
2665~1351~2~2013-11-22 00:00:00.0
2667~1357~2~2013-11-22 00:00:00.0

斯卡拉

import org.apache.spark.sql.types._
val schema =  StructType(
StructField("id", IntegerType, false) ::
StructField("postId", IntegerType, false) ::
StructField("voteType", IntegerType, true) ::
StructField("time", TimestampType, true) :: Nil)
val fileName = "italianVotes.csv"
val italianDF = spark.read.schema(schema).option("sep", "~").csv(fileName)
italianDF.printSchema()
// output
root
 |-- id: integer (nullable = true)
 |-- postId: integer (nullable = true)
 |-- voteType: integer (nullable = true)
 |-- time: timestamp (nullable = true)

蟒

from pyspark.sql.types import *
schema = StructType([
    StructField("id", IntegerType(), False),
    StructField("postId", IntegerType(), False),
    StructField("voteType", IntegerType(), True),
    StructField("time", TimestampType(), True),
])
file_name = "italianVotes.csv"
italian_df = spark.read.csv(file_name, schema = schema, sep = "~")
# print schema
italian_df.printSchema()

root
 |-- id: integer (nullable = true)
 |-- postId: integer (nullable = true)
 |-- voteType: integer (nullable = true)
 |-- time: timestamp (nullable = true)

我的主要问题是，当我在架构中将前两个字段设置为不可空时，为什么它们可为空？

Answer 1

通常，

Spark Datasets要么从其父级继承nullable属性，要么根据外部数据类型进行推断。

你可以争论这是否是一个好方法，但最终它是明智的。如果数据源的语义不支持可空性约束，则架构的应用也不能。归根结底，假设事情可以null总是比在运行时失败更好，如果这个相反的假设被证明是不正确的。