The auxService:mapreduce_shuffle does not exist



当我尝试运行以下命令时:

# sqoop import --connect jdbc:mysql://IP Address/database --username root --password PASSWORD --table table_name --m 1

为了将数据从mysql数据库导入HDFS,我得到了错误:

auxService:mapreduce_shuffle不存在。

搜索和浏览了许多网站,都无济于事。

如何解决这个问题?如果需要更多的投入,请告诉我。

这是yarn-site.xml中缺少的条目。将这些条目应用于namenodes和datanodes中。如果你读到这个http://dataheads.wordpress.com/2013/11/21/hadoop-2-setup-on-64-bit-ubuntu-12-04-part-1/,您将看到yarn-site.xml必须有以下条目:

 <property>
     <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

编写aux-services时要小心,因为中间的"-"可能会给您带来问题。

相关内容

  • 没有找到相关文章

最新更新