如何编写一个引导操作来将文件下载到EMR中的每个节点



我正在尝试将postgres驱动程序下载到集群的每个节点。我写了下面的引导操作,但它似乎没有工作:

#!/bin/bash
aws s3 cp s3://path/to/driver/jars/postgresql-9.4.1210.jre7.jar .

我知道这是一件很容易的事,但是我似乎找不到一个明显的例子。

您的引导操作看起来很好,可能正在工作。只是您可能假设它会将文件下载到您ssh到集群时登录的目录,即/home/hadoop,但事实并非如此。如果我没记错的话,bootstrap actions的工作目录是/var/lib/bootstrap-actions。

如果你把"."改成"/home/hadoop"会更容易找到你下载的文件。您还可以创建一些其他的新目录,作为脚本的一部分下载文件(必要时使用"sudo mkdir"one_answers"sudo chown")。

最新更新