Spark DataFrame将字符串转换为Timestamp-返回空值以获取空值

Question

我有一个火花应用，需要从字符串转换为我的代码。

val df = sc.parallelize(Seq("09/18/2017","")).toDF("sDate")
+----------+
|     sDate|
+----------+
|09/18/2017|
|          |
+----------+
val ts = unix_timestamp($"sDate","MM/dd/yyyy").cast("timestamp")
df.withColumn("ts", ts).show()
+----------+--------------------+
|     sDate|                  ts|
+----------+--------------------+
|09/18/2017|2017-09-18 00:00:...|
|          |                null|
+----------+--------------------+

转换的状况很好，但是如果值是空的，则在铸造后我会变得无效。

如果源值为空，是否有任何方法可以返回空。

Answer 1

您可以使用 when函数如下

import org.apache.spark.sql.functions._
val ts = unix_timestamp($"sDate","MM/dd/yyyy").cast("timestamp")
df.withColumn("ts", when(ts.isNotNull, ts).otherwise(lit("empty"))).show()

它会给您输出为

+----------+-------------------+
|     sDate|                 ts|
+----------+-------------------+
|09/18/2017|2017-09-18 00:00:00|
|          |              empty|
+----------+-------------------+