Spark DataFrame分区修剪在ORC文件上



我们有一个DataFrameTransaction Date列,timestamp.

当我们将 DF 写入ORC文件时,我们对交易日期值(而不是仅时间戳日期值)应用了分区逻辑,我们创建了一个单独的字段,仅用于在该字段上应用分区。

如果我们再次读取 ORC 文件,其中条件为事务日期(时间戳)值,它会修剪分区吗?

No.您需要适当地引用"单独"字段。这是合理的,是基本的数据库规则和分区修剪。

最新更新