Hadoop3.1.1等和sbin文件

Question

我正在尝试在Mac上安装Hadoop3.1.1。

有什么建议我需要在etc文件和libexe/sbin中编辑哪些文件吗？

我必须在里面写什么

Answer 1

如果你只是想在Mac上安装Hadoop3.1.1，

选项1:

1. 先决条件：安装HomeBrew

   /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

2. Check Hadoop在brew info hadoop的Homebrew中可用。这可能表明3.1.1版本是稳定的。

3. 通过brew install hadoop安装Hadoop。这将安装Hadoop3.1.1及其所有依赖项

选项2：

从Apache网站手动下载Hadoop3.1.1并手动更新配置。

1. 先决条件：安装Java
2. 从Apache镜像站点下载Hadoop二进制包https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
3. 对于伪分布式模式，请导出JAVA_HOME
4. 更新这些配置

编辑etc/hadop/core-site.xml:

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

etc/hdop/hdfs-site.xml：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

5. 设置无密码ssh现在检查您是否可以在没有密码的情况下通过ssh连接到本地主机：

   $sh-localhost如果没有密码就无法ssh到localhost，请执行以下命令：

   $ssh密钥根-t rsa-p''-f~/.ssh/id_rsa$cat ~/.ssh/id_rsa.pub>>~/.sssh/authorized_keys$chmod 0600~/.ssh/authorized_keys

然后，6.格式化文件系统：

$ bin/hdfs namenode -format

7. 启动NameNode守护程序和DataNode守护程序：

   $sbin/start-dfs.sh

8. 浏览NameNode的web界面；默认情况下，它位于：名称节点-http://localhost:9870/