haddop完全分布式安装

一、hadoop 完全分布式安装

需要准备的东西：
1、centos
2、VMware Workstation
3、hadoop
4、jdk

二、 配置集群

类型	IP地址	机器名
Namenode	192.168.1.128	hss00
Datanode	192.168.1.129	hss01
Datanode	192.168.1.130	hss02

可以先将一个系统装好然后另外复制两份。

三、固定ip地址

四、配置系统

1、关闭防火墙

（1）修改/etc/selinux/config 文件
（2）修改hostname
------------------ vi /etc/sysconfig/network--------------------
（3）免密登录：
====== ssh-keygen=======（三个机器都要输入）

①.命令行输出 cd ~/.ssh/

②.id_rsa.pub是共钥文件，id_rsa是密钥文件
③.创建文件夹 authorized_keys 代码：touch authorized_keys

④.
把三台主机的公钥都拷贝进 authorized_keys

⑤.
把authorized_keys 文件复制到另外两台主机

scp -rp authorized_keys 192.168.1.129:~/.ssh/
scp -rp authorized_keys 192.168.1.130:~/.ssh/

⑥.
测试：

完成！

五、将jdk、hadoop安装包发送到centos中并解压

我是用的 Secure CRT 这款软件，蛮好用的。

（1）用Secure CRT将hadoop 和 jdk 的tar 包上传到centos上 路径： /usr/local/src
（2）解压：
解压hadoop

@H_404_126@tar -xvzf hadoop-2.7.2.tar.gz

解压jdk

@H_404_126@tar -xvzf jdk-7u7-linux-i586.tar.gz

（3）配置jdk的环境变量：

@H_404_126@vi /etc/profile

在文件末行添：（保存退出后记得 source /etc/profile）

@H_404_126@export JAVA_HOME=/usr/local/src/jdk1.7.0_07 export JRE_HOME=${JAVA_HOME}/jre export CLAsspATH=.:${JAVA_HOME}/jre PATH=${JAVA_HOME}/bin:$PATH

java -version 查看是否成功：

六、配置hadoop

（1）配置 /etc/profile : 配置环境变量

@H_404_126@export HADOOP_HOME=/usr/local/src/hadoop-2.7.2 PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

（2）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

@H_404_126@vi /usr/local/src/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

这一行是文件里本来就有的，只需要将值改成你之前配置的 JAVEA_HOME就行
（3）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/yarn-env.sh

这一行本来是被注释的，把注释去了并修改值。
（3）配置slaves

@H_404_126@vi /usr/local/src/hadoop-2.7.2/etc/hadoop/slaves

自己用了啥名就写啥名
（4）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/core-site.xml

@H_404_126@vi /usr/local/src/hadoop-2.7.2/etc/hadoop/core-site.xml @H_404_126@<configuration> <property> <name>fs.default.name</name> <value>hdfs://hss00:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/src/hadoop-2.7.2/tmp</value> </property> </configuration>

两个红框框里的写你自己的，可能不一样
（5）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

@H_404_126@<configuration> <property> <name>dfs.replication</name> <value>2</value>//节点数 </property> </configuration

（6）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/mapred-site.xml
先将 mapred-queues.xml.template 拷贝一份 命名为 mapred-site.xml

@H_404_126@cp mapred-site.xml.template mapred-site.xml @H_404_126@<configuration> <property> <name>mapred.job.tracker</name> <value>hss00:9001</value> </property> </configuration>

（7）配置 /usr/local/src/hadoop-2.7.2/etc/hadoop/yarn-site.xml

@H_404_126@<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>hss00:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>hss00:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>hss00:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>hss00:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>hss00:8088</value> </property> </configuration>

七、启动

格式化 hadoop
（1）

@H_404_126@ hadoop namenode –format 去到sbin目录下 start-all.sh

结果：
（主节点）

（从节点）

在浏览器查看 50070端口：