PIG - 加载错误时继续

Question

猪的新。

我正在将数据加载到这样的关系中：

raw_data = LOAD '$input_path/abc/def.*;

它

工作得很好，但如果它找不到任何与def.*匹配的文件，整个脚本就会失败。

这是在没有匹配项时继续脚本其余部分的方法。 只是生产一个空集？

我尝试做：

raw_data = LOAD '$input_path/abc/def.* ONERROR Ignore();

但这不会解析。

Answer 1

您可以编写一个返回文件或空元组的自定义加载 UDF。

http://wiki.apache.org/pig/UDFManual

Answer 2

不，没有这样的功能，至少我听说过。另外，我会说"生成一个空集"是"根本不运行脚本"。

如果您不想在某些情况下运行 Pig 脚本，那么我建议您使用包装器 shell 脚本或 Pig 嵌入：http://pig.apache.org/docs/r0.11.1/cont.html