/home/hadoop/bin/hadoop missing in ami 4.x



我正在尝试迁移一个使用ami 3的旧mapreduce管道。X到ami 4。它目前有bash脚本作为引导的一部分,其中一个名为hadoop fs-get s3n://somefile ~/otherfile。这在我当前迁移到ami 4.x的尝试中失败了。加上ls /home/hadoop/bin,脚本显示目录/home/hadoop/bin不存在,当然二进制/home/hadoop/bin/hadoop也不存在。我需要配置一些东西来确保hadoop二进制文件存在吗?

文件系统布局在3。X和4。3。X和4。x和迁移说明可以在这里找到:http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-4.1.0/emr-release-differences.html

解决你的问题的简短答案是,你应该使用"aws s3 cp"而不是"hadoop fs-get"在引导操作,因为hadoop没有安装,直到引导操作运行在4.x+。

最新更新