在纱线上启动的h2o不起作用

Question

当我在cdh集群上启动H2o时，我会得到以下错误。我从wbesite下载了所有内容，并遵循了教程。我执行的命令是

hadoop jar h2odriver.jar -nodes 2 -mapperXmx 1g -output hdfsOutputDirName  

这表明容器没有被使用。目前还不清楚hadoop上会有什么设置。我已经给了所有设置内存。内存的0.0是没有意义的，为什么容器不使用内存。集群现在还在运行吗？

----- YARN cluster metrics -----
Number of YARN worker nodes: 3
----- Nodes -----
Node: http://data-node-3:8042 Rack: /default, RUNNING, 1 containers used, 1.0 / 6.0 GB used, 1 / 4 vcores used
Node: http://data-node-1:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used
Node: http://data-node-2:8042 Rack: /default, RUNNING, 0 containers used, 0.0 / 6.0 GB used, 0 / 4 vcores used
----- Queues -----
Queue name:            root.default
    Queue state:       RUNNING
    Current capacity:  0.00
    Capacity:          0.00
    Maximum capacity:  -1.00
    Application count: 0
Queue 'root.default' approximate utilization: 0.0 / 0.0 GB used, 0 / 0 vcores used
----------------------------------------------------------------------
WARNING: Job memory request (2.2 GB) exceeds queue available memory capacity (0.0 GB)
WARNING: Job virtual cores request (2) exceeds queue available virtual cores capacity (0)
----------------------------------------------------------------------
For YARN users, logs command is 'yarn logs -applicationId application_1462681033282_0008'

Answer 1

您应该设置默认队列，以便有可用的资源来运行2nodes集群。

参见警告：

1. WARNING: Job memory request (2.2 GB) exceeds queue available memory capacity (0.0 GB)

   • 您要求每个节点1GB（+开销），但YARN队列中没有可用资源

2. WARNING: Job virtual cores request (2) exceeds queue available virtual cores capacity (0)

   • 您要求2个虚拟核心，但默认队列中没有可用的核心

请查看YARN文档，例如容量调度程序的设置和最大可用资源：https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

Answer 2

我在Cloudera Manager纱线配置中进行了以下更改

Setting                                     Value
yarn.scheduler.maximum-allocation-vcores    8 
yarn.nodemanager.resource.cpu-vcores        4
yarn.nodemanager.resource.cpu-vcores        4
yarn.scheduler.maximum-allocation-mb        16 GB