Apache Spark从时间戳列减去天数

Question

我正在使用Spark数据集，并且在时间戳列中遇到几天的麻烦。

我想从时间戳列中减去几天，并获取具有完整DateTime格式的新列。示例：

2017-09-22 13:17:39.900 - 10 ----> 2017-09-12 13:17:39.900

使用date_sub函数，我将获得2017-09-12没有13：17：39.900。

Answer 1

您的 cast数据到 timestamp和 expr，以减去 INTERVAL：

import org.apache.spark.sql.functions.expr
val df = Seq("2017-09-22 13:17:39.900").toDF("timestamp")
df.withColumn(
  "10_days_before", 
  $"timestamp".cast("timestamp") - expr("INTERVAL 10 DAYS")).show(false)

+-----------------------+---------------------+
|timestamp              |10_days_before       |
+-----------------------+---------------------+
|2017-09-22 13:17:39.900|2017-09-12 13:17:39.9|
+-----------------------+---------------------+

如果数据已经是TimestampType，则可以跳过cast。

Answer 2

，或者您可以简单地使用pyspark 1.5的date_sub函数：

from pyspark.sql.functions import *
df.withColumn("10_days_before", date_sub(col('timestamp'),10).cast('timestamp'))