如何停止在亚马逊数据管道中安装Hive/Pig



我不需要Hive或Pig,默认情况下,Amazon Data Pipeline将它们安装在其旋转的任何EMR群集上。这使得测试需要比应有的时间更长。关于如何禁用安装的任何想法?

这是从今天开始的。

唯一的解决方法是启动您用于测试的小型EMR群集(例如单个Master -m1.small)。然后将其与" WorkerGroup"而不是" Runson"一起使用。

根据您要使用的活动类型,WorkerGroup字段可能会或可能不支持。但是,您总是可以将所有内容包裹在脚本(Python,Shell或Blah)中,并将其与ShellCommandActivity一起使用。


更新(Christopherb正确提醒):

来自3.x AMI版本,Hive和Pig捆绑在AMI本身中。因此,这些步骤不会从S3中汲取任何新软件包,而只会激活主节点上的守护程序。因此,除非您担心他们消耗您的实例资源(CPU,内存等),否则应该没关系。他们不需要明显的时间来运行。

最新更新