我们正在处理 5000 万条数据，经过最后处理，我们在 pig 脚本中使用了排名函数，并且 pig 作业在执行排名函数时失败，我们得到以下错误： "org.apache.hadoop.mapreduce.counters.LimitExceededException： 太多计数器：121 max=120"
我们在 pig 脚本中使用了以下命令，但仍然收到相同的错误：
set mapreduce.job.counters.max 1000
如果有人能让我度过这个错误，或者可以为我提供在 50+百万个已处理数据上使用排名函数的替代方法，我将不胜感激。
检查映射站点.xml计数器限制值。很可能在 tha t 文件中将限制设置为 120。该文件位于您的 hadoop 主目录中，例如：$HADOOP_HOME/conf/mapred-site.xml
<property>
<name>mapreduce.job.counters.limit</name>
<value>1000</value> -- Most likely this is set to 120 in your case.
</property>
在Hadoop 2.0中，它的mapreduce.job.counters.max
<property>
<name>mapreduce.job.counters.max</name>
<value>1000</value> -- Most likely this is set to 120 in your case.
</property>