HIVE 表的镶木地板数据,显示特殊字符,如"áè月"



我们有一个Hive表,它在后台有snappy.parquet数据作为该表的数据。数据具有特殊的欧洲和亚洲字符,如"á"è"月' .Hive表是通过使用SPARK保存功能将ASCII文件转换为Parquet来加载的。表格模式如下

COL-NAME字符串


refnbrbigint
manstring
>sprasstring
aatkg字符串
wgbez特殊字符在此字段中]

errez60字符串[特殊字符在此字段中]collerstring
t_idbigint
文件标签字符串。


当尝试在此表上进行正常选择时,它显示结果,但对于特殊字符,它显示的内容类似于-->">Carte de t�l�phone"。然而,没有这些特殊字符的同一字段的其余数据显示正确。如果i) 我们需要在HIVE表级别设置任何Encoding设置,该如何设置?或ii)这是否与使用正确的表属性设置serde属性以进行编码有关。这是什么以及如何做到这一点。如果你能提出建议,我将不胜感激。iii)或者如果我在这里可能遗漏了任何其他元素。

请尝试使用简单的文本格式(无镶木地板)。使用UTF-8字符保存的文件。使用此文件加载表。真的需要镶木地板吗?

最新更新