Hadoop流式处理-输入参数太多

Question

我正在通过hadoop流运行一个map reduce作业，但它给了我一个错误"参数太多"。问题在于输入，我在输入参数中传递了1500多个目录。我无法减少输入文件的数量。

任何建议。

Answer 1

您可以始终使用通配符来选择许多文件，而无需显式列出它们。