Hive load data OpenCSVSerde comment control



如何产生问题:

  1. 使用配置单元创建 SQL 创建表,例如:
create table `db`.`table`(
`field1` string,
`field2` string,
`field3` string
) row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde';
  1. Load csv 文件使用配置单元加载数据 SQL,例如:
load data local inpath 'my/file/path' overwrite into table `db`.`table`;

表架构将为:

field1                  string                  from deserializer
field2                  string                  from deserializer
field3                  string                  from deserializer

请注意,每个字段的注释都将是"来自反序列化程序"。

我的问题:如何摆脱此评论或自定义评论。

Hive shell中设置此set hive.serdes.using.metastore.for.schema=org.apache.hadoop.hive.serde2.OpenCSVSerde;参数,然后您可以拥有empty comment(或(custom comment

hive> set hive.serdes.using.metastore.for.schema=org.apache.hadoop.hive.serde2.OpenCSVSerde;
hive> create table `db`.`table`(
`field1` string COMMENT '',
`field2` string COMMENT 'fiel2 comment',
`field3` string COMMENT 'field3 comment'
) row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde';
hive> desc formatted table;
OK
# col_name              data_type               comment
field1                  string
field2                  string                  field2 comment
field3                  string                  field3 comment

最新更新