我试图在嵌入式模式下更改apache drill中的存储配置,以识别标题并更改csv文件的分隔符。我还将新的格式类别从csv重命名为sap。
我尝试使用文档中的信息,并创建了以下json存储信息:
{
"type": "file",
"enabled": true,
"connection": "file:///",
"workspaces": {
"root": {
"location": "/",
"writable": false,
"defaultInputFormat": null
},
"tmp": {
"location": "/tmp",
"writable": true,
"defaultInputFormat": null
}
},
"formats": {
"sap": {
"type": "text",
"extensions": [
"sap"
],
"skipFirstLine": false,
"extractHeader": true,
"delimiter": "|"
},
"psv": {
"type": "text",
"extensions": [
"tbl"
],
"delimiter": "|"
},
"csv": {
"type": "text",
"extensions": [
"csv"
],
"delimiter": ","
},
"tsv": {
"type": "text",
"extensions": [
"tsv"
],
"delimiter": "t"
},
"parquet": {
"type": "parquet"
},
"json": {
"type": "json"
},
"avro": {
"type": "avro"
}
}
}
但当我试图将其保存在web ui中时,我总是收到消息:error(无效的json映射)。
exec.storage.enable_new_text_reader设置为true。
有人能帮我添加两个配置项吗:skipFirstLine和extractHeader?
BR
Drill能够在Drill1.3中解析文本文件(CSV、TSV等)中的标题行。请查看文档。
有关更多详细信息,请查看Dill 1.3和csv标头解析问题的发行说明。