在几秒钟内激发SQL日期

Question

我已经有以下代码：

table.select(datediff(table.col("Start Time"), table.col("End Time"))).show()

日期格式为 2016-05-19 09:23:28（YYYY-MM-DD HH:mm:SS）

函数日期计算天数的差异。但是我想在几秒钟内有差异。

Answer 1

您可以使用unix_timestamp()函数将日期转换为秒。

import org.apache.spark.sql.functions._
//For $ notation columns // Spark 2.0
import spark.implicits._
table.withColumn("date_diff", 
   (unix_timestamp($"Start Time") - unix_timestamp($"End Time"))
).show()

编辑：（根据注释）

UDF至秘密秒为HH：MM：SS

sqlContext.udf.register("sec_to_time", (s: Long) => 
   ((s / 3600L) + ":" + (s / 60L) + ":" + (s % 60L))
)
//Use registered UDF now
table.withColumn("date_diff", 
   sec_to_time(unix_timestamp($"Start Time") - unix_timestamp($"End Time"))
).show()