hadoop2.7.1完全分布式安装步骤

环境搭建目标

Hadoop版本2.7.1
Centos版本7.5
VMware Workstation 版本14pro
jdk版本1.8

一、基础环境

1、时间同步

#（1）首先安装 ntpdate 命令：
yum install -y ntpdate
#（2）接着执行如下命令开始同步：
ntpdate 0.asia.pool.ntp.org
#（3）最后执行如下命令将系统时间同步到硬件，防止系统重启后时间被还原。
hwclock --systohc

2、安装jdk1.8
安装方法
3、配置hosts文件

#修改Centos中的hosts
vim /etc/hosts

添加主机名和端口号

二、克隆虚拟机镜像
1、关闭虚拟机，点击虚拟机快照。然后点克隆

2、配置固定ip地址
windows方式
Mac方式
注意，四个虚拟机都要配
3、修改主机名

 vi /etc/hostname
 #分别为node1\node2\node3\node4

4、重启虚拟机

三、免秘钥设置

免密登录原理

#进入.ssh目录
cd .ssh
#生成公钥和私钥
ssh-keygen -t rsa

id_rsa（私钥）、id_rsa.pub（公钥）

#将公钥拷贝到要免密登录的目标机器上
ssh-copy-id node2
ssh-copy-id node3
ssh-copy-id node4

这样操作后，node1可以免密登录其他三个，如果想让其他也免密，重复上述操作即可
四、Hadoop的安装及配置
1、安装
上传hadoop2.7.1到node1的/usr/local下解压，并将hadoop位置加入环境变量

HADOOP_HOME=/usr/local/hadoop271
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export PATH JAVA_HOME CLAsspATH HADOOP_HOME

source /etc/profile

输入hdfs,出现如下即可

2、配置相关文件
（1）修改hadoop2.7.1/etc/hadoop/hadoop-env.sh中的 JAVA_HOME

修改   export JAVA_HOME=/usr/local/jdk8/

（2）添加hadoop2.7.1/etc/hadoop/core-site.xml中的配置

<property> 
	<name>fs.defaultFS</name> 
	<value>hdfs://node1:9000/</value> 
 </property> 
<property> 
	<name>hadoop.tmp.dir</name>
	 <value>/opt/hadoopdata</value> 
 </property> 
 #注意这个  hadoopdata目录不存在，由hadoop生成

（3）添加hadoop2.7.1/etc/hadoop/hdfs-site.xml中的配置

 <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
 <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node2:50090</value>
   </property>

(4)在hadoop2.7.1/etc/hadoop/slaves 中 指定 三台 DN

(5)手动创建masters文件, 指定 SNN

vim masters

五、同步配置文件到其它节点

scp -r hadoop2.7.1/    node2:/usr/local/
scp -r hadoop2.7.1/    node3:/usr/local/
scp -r hadoop2.7.1/    node4:/usr/local/

六、启动

在node1的hadoop2.1.7/etc/hadoop路径下输入以下命令

#格式化 NN          
hdfs namenode     -format
#启动   
start-dfs.sh

如果启动不成功，看看自己的配置文件路径是不是有问题。配置成功则通过jps命令查看四个虚拟机

跟我们期望得配置目标一样

七、测试

1、namenode查看

http://node1:50070

2、SNN查看

http://node2:50090

如果访问不到，请关闭node1和node2的防火墙

#查看防火墙状态
systemctl status firewalld.service
#关闭防火墙
systemctl stop firewalld.service    
#禁止防火墙开机启动
systemctl disable firewalld