如何为Pig on Tez设置队列名称



在TEZ上运行Pig时,如何从命令行设置队列名称?

我想从命令行运行一个Pig脚本,例如:

pig -useHCatalog -p INPUT=input_dir 
                                 -p 'OUT_FILE=out_file 
                                 -p UDF_PATH=udf.py 
                                 -f ./script_name.pig 
                                 -Dmapred.job.queue.name=my_queue_name 
                                 -x tez;

我尝试了以下设置:

-tez.job.queue.name=my_queue_name
-q mapreduce.job.queuename=my_queue_name
-Dmapred.job.queue.name=my_queue_name
-q my_queue_name

但是,我的作业没有在我指定的队列中运行。

谢谢!

属性为tez.queue.name

<property>
    <name>tez.queue.name</name>
    <value>myqueue</value>
</property> 

所以试试

-tez.queue.name=my_queue_name

在我的pig版本(0.16.0..2.5.3.0-37)中,我无法在命令行中设置此参数。

而不是添加

SET tez.queue.name"my_queue";

到PIG脚本的开始,它确实起了作用。

相关内容

  • 没有找到相关文章

最新更新