Hive 表(兽人类型)指向的 ORC 文件是否应包含配置单元表中的所有属性?



我有一个 hive 表,指向包含多个 orc 文件的 s3 路径 (s3:///table/data/(。 我有一个将文件写入上述前缀的工作,但是,不能保证属性的顺序(在文件中(,并且并非所有属性都被填充,即某些文件可能只有数据子集。

那么,Hive 表是否可以使用适当的列名映射列数据,并为查询的每个列返回适当的值?

没有 ORC 表的情况只是根据表中列的顺序读取数据。

如果不保证属性的顺序,则 hive orc 表将根据表架构读取数据(如果数据类型匹配(,则显示值 (or(将值转换为该类型(或(null

可能需要创建一个 AVRO表,然后基于 avro 架构表将指向正确的值。

相关内容

最新更新