hadoop全分布式安装

1、统一安装jdk

这里准备4台虚拟机，给其他三台都安装jdk

分别更改hostname为slave1、slave2、slave3.   

vim /etc/sysconfig/network

hostname slave1

统一更改hosts文件vim /etc/hosts

IP master
IP slave1
IP slave2
IP slave3

vim /etc/sysconfig/selinux

配置

关闭防火墙

/etc/init.d/iptables stop

setenforce 0

getenforce

完成ssh免密登陆配置:将master公钥拷贝到3个节点~/.ssh文件夹下

scp authorized_keys slave1:~/.ssh

备份为分布式

cp -r hadoop/ hadoop_pseudo 

2配置hadoop环境变量

vim core-site.xml

<configuration>
　　<property>
　　　　<name>fs.defaultFS</name>
　　　　<value>hdfs://localhost:9000</value>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>/usr/local/src/hadoop-2.6.5/full</value>
　　</property>
</configuration>

full：全分布式文件存放文件夹

vim hdfs-site.xml

<configuration>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>2</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.secondary.http-address</name>
　　　　<value>slave1:50090</value>
　　</property>
</configuration>

副本数：2(存2个块）看2个块再3个节点副本搭配

slave1： secondarynode节点

vim slaves 配置hadoop从节点

slave1

slave2

slave3

分发hadoop包

scp -r hadoop slave1:/usr/local/src

 

hdfs namenode -format

start-dfs.sh

jps检查

 

观察错误，看日志

谁没起来区那个目录找日志 tail -100 hadoop-root-datanode-slave1.log

50070浏览器节点