如何将Pig元组拆分为子元组

  • 本文关键字:元组 拆分 Pig apache-pig
  • 更新时间 :
  • 英文 :


以下是我在Pig脚本中操作的元组:

DUMP A
(4,20,53,31)
(21,3,40,16)
(15,51,12,3)

我将把这个关系式(A)转换为另一个关系式(B),例如:

DUMP B
(4,20)
(4,53)
(4,31)
(21,3)
(21,40)
(21,16)
(15,51)
(15,12)
(15,3)

这意味着保留所有元组中的第一个字段,并通过每个字段获得一个元组。在前面的例子中,每个元组必须给出3个新的元组。我有一个解决方案:

DUMP B
(4,20)
(21,3)
(15,51)
(4,53)
(21,40)
(15,12)
(4,31)
(21,16)
(15,3)

这是一个好结果,但顺序错误(我每次都使用FOREACH运算符)。我可以通过向每个元组添加一个字段,然后使用order运算符来获得正确的顺序,但我认为有一种更简单的方法可以做到这一点

知道吗?

谢谢。

你可以做:

-- T is the name of the tuple, and v[1-4] are the values in the tuple
B = FOREACH A GENERATE T.v1, FLATTEN(TOBAG(T.v2, T.v3, T.v4)) ;

如果值没有名称,您也可以这样做:

B = FOREACH A GENERATE T.$0, FLATTEN(TOBAG(T.$1, T.$2, T.$3)) ;

输出:

(4,20)
(4,53)
(4,31)
(21,3)
(21,40)
(21,16)
(15,51)
(15,12)
(15,3)

最新更新