是否可以使用来自spark数据帧(pyspark)的d类型来查找哪一列是日期

Question

我有一个数据帧：-

df =
Name   Date_1     Date_2     Roll.no
kiram  22-01-2020 23-01-2020  20
krish  24-02-2020 05-01-2020  25
verm   09-01-2020 25-02-2020  24
kirn   14-12-2019 25-01-2021  56

现在我想用d-types.找到日期列。因为我们知道在pyspark中，日期被视为strings，我们如何将日期列d类型描述为date类型而不是string？这是因为我只想在日期列上应用一些函数。有没有办法找到哪一列属于d型"Date"？

Answer 1

尝试

df.printSchema()

它应该说明它是时间戳还是日期

或者可以使用to_date((将其转换为日期格式

to_date("date").alias("date")

Answer 2

您已经根据用例使用了下面这样的东西。在下面的示例中，将所有日期和时间戳列转换为字符串。。

for d_type in df.dtypes:
if d_type[1] in ('timestamp','date'):
df = df.withColumn(d_type[0], df[d_type[0]].cast('STRING'))