使用循环在HBase中创建多个列限定符

Question

我想将行数据转换为列。

我有状态和访问数据如下：

State    Visit   Month
AZ       1023    06
NY       32234   06
OH       9821    06
NY       4564    07
KS       3232    06
MO       2322    06
AZ       222     07

我希望我的数据看起来像这样：

Month    AZ    KS    MO    NY     OH
06       1023  3232  2322  32234  9821
07       222               4564

我的数据存储在HBase 中

在我看来，我可以按状态过滤数据，然后将新列附加到新表中。我可以用Pig中的少量列来完成这项工作，但我认为这样做50次是愚蠢的，我宁愿使用循环。显然，这些都是同一列族中的列限定符。

我知道猪没有环。我一直在努力寻找解决Hive问题的方法，但到目前为止没有成功。

有没有办法在Pig、Hive、Native Mapreduce或HBase Shell中做到这一点？

Answer 1

在Hive中有一种方法可以做到这一点。您可以收集对地图的访问量和月份，然后在创建新列时引用地图的键。你需要CollectUDAF从这里

查询：

ADD jar /path/to/jar/brickhouse.jar;
CREATE TEMPORARY FUNCTION collect AS 'brickhouse.udf.collect.CollectUDAF';
SELECT month
    ,state_map['AZ'] AS AZ
    ,state_map['NY'] AS NY
    ,state_map['OH'] AS OH
    ,state_map['KS'] AS KS
    ,state_map['MO'] AS MO
FROM (
    SELECT month
        ,collect(state, visit) AS state_map
    FROM database.table
    GROUP BY month
    ) x

输出：

06    1023    32234    9821    3232    2322
07    222     4564     NULL    NULL    NULL