动态分区下嵌套静态分区

Question

为什么我不允许在动态分区下嵌套静态分区?

INSERT OVERWRITE TABLE T PARTITION (ds='2010-03-03', hr)
SELECT key, value, /*ds,*/ hr FROM srcpart WHERE ds is not null and hr>10;

但这是不允许的

INSERT OVERWRITE TABLE T PARTITION (ds, hr = 11)
SELECT key, value, ds/*, hr*/ FROM srcpart WHERE ds is not null and hr=11;

我发现官方wiki页面的解释(如下所示)不够充分。更喜欢逻辑解释或底层map-reduce级别的解释。

SP is a subpartition of a DP: should throw an error because partition column order determins directory hierarchy. We cannot change the hierarchy in DML

Answer 1

这是一个Hive设计问题(在这里指定):

如果有多个分区列，它们的顺序是很重要，因为它转换为HDFS中的目录结构:partitioned by (ds string, dept int)表示目录结构为ds=2009-02-26/dept=2 .

在涉及分区表的DML或DDL中，如果指定了分区列的子集(静态)，我们应该这样做

如果动态分区列较低，则抛出错误。

的例子:

create table nzhang_part(a string) partitioned by (ds string, dept int);
insert overwrite nzhang_part (dept=1)
  select a, ds, dept from T
  where dept=1 and ds is not null;