apachepig-仅使用PigLatin在pig中加载带有不同分隔符的未结构化数据

Question

嗨，我正试图仅使用PigLatin将以下数据（包含不同的分隔符且未结构化）加载到Pig中，而不使用Java准备数据。

输入：

1234 #one,#two,#three
5679 #one,#two
1234 #one

输出我想要的内容：

1234 #one
1234 #two
1234 #three
5678 #one
5678 #two
1234 #one

有什么想法吗？这在猪身上可能吗？提前感谢！

Answer 1

Pig脚本：

A = LOAD 'a.csv' AS USING PigStorage(' ') (key:chararray, value:chararray);
B = FOREACH A GENERATE key, FLATTEN(TOKENIZE(value, ','));
DUMP B;

输入：a.csv:

1234 #one,#two,#three
5679 #one,#two
1234 #one

输出：DUMP B:

(1234,#one)
(1234,#two)
(1234,#three)
(5679,#one)
(5679,#two)
(1234,#one)