使用Hive查询进行数据解析

Question

我正在通过Azure Data Factory构建管道。输入数据集是带有列定界符的CSV文件，输出数据集也是CSV文件列定界符。该管道的设计通过使用扩展.hql的文件中的Hive查询进行HDinsight活动。蜂巢查询如下

set hive.exec.dynamic.partition.mode=nonstrict;
DROP TABLE IF EXISTS Table1; 
CREATE EXTERNAL TABLE Table1 (
  Number string, 
  Name string, 
  Address string
)
ROW FORMAT DELIMITED FIELDS  TERMINATED BY ','
LINES TERMINATED BY 'n'
STORED AS TEXTFILE 
LOCATION '/your/folder/location'
SELECT * FROM Table1;

以下是文件格式

Number,Name,Address 
1,xyz,No 152,Chennai
2,abc,7th street,Chennai
3,wer,Chennai,Tamil Nadu

如何将输出数据集中的数据数据数据解析？

Answer 1

根据我的理解，您的问题与CSV文件有关。您将CSV文件放在表格位置，并且由标头组成。如果我的理解是正确的，请在表DDL中尝试以下属性。我希望这对您有帮助。

tblproperties ("skip.header.line.count"="1");

谢谢manu