在Hive中将结构数组转换为Json



我在配置单元中有一个具有复杂数据类型(ARRAY<STRUCT<(的表。我必须将这些数据导出到外部系统。为了将这些数据用于外部系统,我们需要保留struct列的JSON格式。是否有任何内置功能可以对蜂窝/火花进行同样的操作。我可以看到一些帖子建议"Brickhouse.jar"。但对于这种情况,我们不能在回购中添加任何外部jar。

例如,我的结构列数据是这样的,它是一个数组

阵列<STRUCT<attribute1:字符串,updated_at:TIMESTAMP,partitionInfo:字符串,status:BOOLEAN>gt;

输出应类似于单行

[{"attribute1":"val11","updated_at":"val12","partitionInfo":"val13","status":"Vale14"},{"ttribute1":"val21","updated_at";:"val22","partitionInfo":"val23","状态":"val24"},。。]

提前感谢

在hue(hive的UI(中,可以使用to_json函数将Array of Struct转换为json。像

SELECT tid, to_json(orders) AS ordersJson FROM amz_trade limit 10;

最新更新