apachepig-无法在pig脚本中提取带有双管分隔符的数据

Question

我正在尝试提取在Pig中以管道分隔的数据。以下是我的命令

L = LOAD 'entirepath_in_HDFS/b.txt/part-m*' USING PigStorage('||');

我收到以下错误

2016-08-04 23:58:21,122 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1200: Pig script failed to parse:
<line 1, column 4> pig script failed to validate: java.lang.RuntimeException: could not instantiate 'PigStorage' with arguments '[||]'

我的输入样本文件正好有5行，如下所示

POS_TIBCO||HDFS||POS_LOG||1||7806||2016-07-18||1||993||0
POS_TIBCO||HDFS||POS_LOG||2||7806||2016-07-18||1||0||0
POS_TIBCO||HDFS||POS_LOG||3||7806||2016-07-18||1||0||5
POS_TIBCO||HDFS||POS_LOG||4||7806||2016-07-18||1||0||0
POS_TIBCO||HDFS||POS_LOG||5||7806||2016-07-18||1||0||19.99

我尝试了几个选项，比如在分隔符之前使用反斜杠（\||，\|\|），但都失败了。此外，我尝试了模式，但得到了相同的错误。我使用的是Horton works（HDP2.2.4）和pig（0.14.0）。

感谢您的帮助。如果你需要更多的细节，请告诉我。

Answer 1

我遇到过这种情况，通过检查PigStorage代码源，我认为PigStorage参数应该只解析为一个字符。

因此，我们可以使用以下代码：

L0 = LOAD 'entirepath_in_HDFS/b.txt/part-m*' USING PigStorage('|');
L = FOREACH L0 GENERATE $0,$2,$4,$6,$8,$10,$12,$14,$16;

如果您知道自己有多少列，这很有帮助，而且它不会影响性能，因为它是映射端。

Answer 2

当您使用PigStorage加载数据时，它只需要一个字符作为分隔符。但是，如果你仍然想实现这一点，你可以使用MyRegExLoader-

REGISTER '/path/to/piggybank.jar'
A = LOAD '/path/to/dataset' USING org.apache.pig.piggybank.storage.MyRegExLoader('||') 
      as (movieid:int, title:chararray, genre:chararray);