Hadoop JobTracker 内存使用量不断增加v.

Question

当我打开jobtrackerhost：50030/jobtracker时.jsp

我可以看到堆大小，如下所示：群集摘要（堆大小为 1.17 GB/7.99 GB）

它正在继续增加。3-5天后，它生长到峰值。

我们有 2 个 Hadoop 集群。在集群 A 上，堆大小在峰值附近停止增加。在集群 B 上，堆大小继续增加，3-5 天后，作业跟踪器下降。（ 过程消失了）

现在我真的很想知道为什么堆大小继续增加？ 这是正常的还是有问题的？

谢谢新松

Answer 1

@vefthym，我认为mapred-site.xml文件不完整，因为Hadoop集群由Cloudera Manager管理。

以下是地图网站中的内容.xml

<?xml version="1.0" encoding="UTF-8"?>
<!--Autogenerated by Cloudera CM on 2013-07-01T01:39:46.361Z-->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://xxxx.com:8020</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
  </property>
  <property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec</value>
  </property>
  <property>
    <name>hadoop.security.authentication</name>
    <value>simple</value>
  </property>
  <property>
    <name>hadoop.rpc.protection</name>
    <value>authentication</value>
  </property>
  <property>
    <name>hadoop.security.auth_to_local</name>
    <value>DEFAULT</value>
  </property>
</configuration>