Apache Spark:修复时间戳格式

Question

我正在尝试读取csv文件并将其附加到表中。对于日期列，它抛出Timestamp format must be yyyy-mm-dd hh:mm:ss异常。

我尝试了几个解决方案，但没有一个适合我。

我试图使用udf，但它抛出一个异常:

Schema for type java.util.Date is not supported

这是我尝试过的:

val dateFormat = new SimpleDateFormat("yyyy-mm-dd hh:mm:ss")
val toDate = udf[Date, String](dateFormat.parse(_))
val schema = StructType(Array(StructField("id", LongType, nullable=true), StructField("name", StringType, nullable=true), StructField("date_issued", TimestampType, nullable=true)))
var df = spark.read.schema(schema).csv("./data/test.csv")
var df2 = df.withColumn("date_issued", toDate(df("date_issued")))
df2.show()
df2.write.mode(SaveMode.Append).jdbc("jdbc:postgresql://localhost:5432/db", "card", connectionProperties)

Answer 1

问题是，需要将util日期转换为sql日期。

试试下面的代码。

def convertToDate(dateTime: String): Date = {
    val formatter = new SimpleDateFormat("yyyy-mm-dd hh:mm:ss")
    val utilDate = formatter.parse(dateTime)
    new java.sql.Date(utilDate.getTime)
  }

然后将此函数转换为UDF。

val toDate = udf(convertToDate(_: String))