Apache Drill查询Parquet文件不工作的时间戳字段

Question

我正在尝试查询从PySpark作业生成的Parquet文件。时间戳字段中的数据是十六进制字符串。我试图使用CAST函数，但它不工作。

是否需要任何设置来解决这个问题?

谢谢你的帮助。

感谢

Answer 1

我通过在spark会话中添加以下设置来解决这个问题。这将使它与其他平台兼容。

. config("spark.sql.parquet.outputTimestampType","INT96"

Answer 2

如果时间戳作为十六进制字符串返回，您可以尝试Drill的CONVERT_FROM()函数。1

基本上，这可以将十六进制字符串转换为其他内容。