如何将 EMR 集群连接到 EC2 服务器



我使用Spark来计算并行化任务。为了做到这一点,我的项目连接到一个服务器,该服务器生成一些我需要启动 Spark 作业的数据。

现在我想将我的项目迁移到 aws 上的云中。

我在 EMR 上安装了我的 Spark 应用程序,在 EC2 上获得了我的服务器。如何使我的 EMR Spark 应用程序能够在我的 EC2 服务器上使用 http 请求?我需要网关之类的东西吗?

谢谢

有好的一天。

您的 EMR 集群实际上在 EC2 服务器上运行。您始终可以通过 ssh 连接到这些服务器。然后,您肯定可以从 emr ec2 服务器 ssh 到另一台 ec2 服务器

根据我的经验,您应该使用ssh hadoop@ec2-###-##-##-###.compute-1.amazonaws.com -i /path/mykeypair.pem而不是ssh -i /path/mykeypair.pem -ND 8157 hadoop@ec2-###-##-##-###-.compute.amazonaws.com。第二个命令没有响应。

最新更新