如何将mac连接到hadoop/hdfs集群



我有在集群中运行的CDH,并且我有对机器的ssh访问权限。我需要将我的Mac连接到集群,所以如果我执行hadoop fs-ls,它应该会向我显示集群的内容。我已将HADOOP_CONF配置为指向集群的配置。我正在群集中运行CDH4。我是不是遗漏了什么,可以联系吗?

我需要设置ssh密钥吗?

要做到这一点,您需要确保以下几点:

  1. 您需要将HADOOP_CONF_DIR环境变量设置为指向一个目录,该目录包含指向集群的配置XML
  2. 您的Mac应该能够直接访问组成集群的主机(所有主机)。这可以通过VPN来实现,例如,如果集群是从外部网络保护的
  3. 您的Mac应该携带与集群运行的Hadoop版本相同的Hadoop

最新更新