我正在使用oozie运行MapReduce作业。从工作流程中,我只是调用MapReduce驱动程序类,仅此而已。但是对于这个 oozie 工作流程需要大量内存。它至少需要 2GB 的容器大小才能调用驱动程序类。以下是工作流程.xml
<?xml version="1.0" encoding="utf-8"?>
<workflow-app xmlns="uri:oozie:workflow:0.4" name="My Job">
<start to="start-job" />
<action name='start-job'>
<shell xmlns="uri:oozie:shell-action:0.2">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${jobQueue}</value>
</property>
</configuration>
<exec>${jobScript}</exec>
<argument>${arguments}</argument>
<argument>${queueName}</argument>
<argument>${wf:id()}</argument>
<file>myPath/MyDriver.sh#MyDriver.sh</file>
</shell>
<ok to="end" />
<error to="kill" />
</action>
<kill name="kill">
<message>Job failed
failed:[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end" />
我的 shell 脚本将如下所示(MyDriver.sh),
hadoop jar myJar.jar MyDriverClass $1 $2 $3
为什么 oozie 需要这么多记忆。如何减少 oozie 的内存消耗?
Shell 操作将启动至少 2 个映射器来运行您的 Java 类。
您可以使用 java 操作来避免这种情况。 将 jar 放在 ${workflow-path}/lib/ 目录中并更改您的工作流:
<action name='start-job'>
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${jobQueue}</value>
</property>
</configuration>
<main-class>MyDriverClass</main-class>
<arg>${arguments}</arg>
<arg>${queueName}</arg>
<arg>${wf:id()}</arg>
</java>
<ok to="end" />
<error to="kill" />
</action>