用于在Hadoop集群中执行.ds2评分文件的MapReduce代码

Question

我有一个从SAS评分加速器创建的.ds2文件。sas 评分加速器有一个宏 %INDHD_RUN_MODEL，它在内部创建一个 MapReduce 代码来执行 .ds2 文件。

如何

查看代码或如何创建类似的mapreduce代码。这样我就可以通过 oozie 安排评分。

Answer 1

%indhd_run_model宏是预编译并存储在 SASHOMESASFoundation9.4accelmvahadpcmacros 中。此代码的开发人员似乎希望隐藏内容。

libname macros 'C:SASSASHomeSASFoundation9.4accelmvahadpcmacros';
options sasmstore=macros mstored;
%COPY indhd_run_model / source;

注意：宏 %INDHD_RUN_MODEL 是使用/SECURE 选项编译的。 不会为此 %COPY 语句生成任何输出。

错误： 宏时未指定/SOURCE 选项 INDHD_RUN_MODEL被编译了。

由于启用了/secure选项，因此无法专门查看 Hadoop 代码模板;但是，通过在 SAS 中启用以下选项，可以更好地了解：

options mlogic mlogicnest sastrace=',,,d' sastraceloc=saslog nostsuffix;

这将打开一些事情：

1. 正在运行的宏的不同部分的实际逻辑
2. SAS 发送的 HiveQL 查询和来自 Hadoop 的响应;输出位于 SAS 日志中

您还可以使用sastrace选项的参数来获取不同类型的信息。

在最坏的情况下，您需要联系 SAS 技术支持以获取有关此问题的更多帮助。我建议打电话，因为你会得到更快的响应。

Answer 2

您可以计划

%INDHD_RUN_MODEL，但不能直接计划地图化简作业。SAS EP（嵌入式进程）将.ds2代码转换为map-reduce作业，然后将其执行。整个过程对于最终用户来说应该是一个黑匣子。