centos6.5安装hadoop2.6.0集群

前提：已安装好centos6.5操作系统

1. 系统环境设置(先配置master节点h1m1)

说明：

IP	hostname	备注
192.168.100.100	h1m1	NN
192.168.100.101	h1s1	DN
192.168.100.102	h1s2	DN

1.1修改主机名

# vim /etc/sysconfig/network

1 NETWORKING=yes

2 HOSTNAME=h1m1

3 NTPSERVERARGS=iburst

1.2 修改IP地址

进入Linux图形界面->右键点击右上方的网络连接->点击“编辑连接…”->添加一个新网络“主机连接”->选择IPv4 ->方法选择为手动->点击添加按钮->添加IP：192.168.100.100子网掩码：255.255.255.0网关：192.168.100.254 ->应用

1.3修改主机名和IP的映射关系（hosts）

# vim/etc/hosts

添加：192.168.100.100h1m1

1.4关闭防火墙

# service iptables status//查看防火墙状态

# service iptables stop//关闭防火墙

# chkconfig iptables –list//查看防火墙开机启动状态

# chkconfig iptables off//关闭防火墙开机启动

1.5重启系统

# reboot

2.安装jdk下载地址：http://pan.baidu.com/s/1gdiZ0ob

2.1上传

2.2解压jdk

# mkdir /usr/lib/jdk//创建文件夹

# tar -zxvf jdk-7u71-linux-i586.tar.gz//解压

# mv jdk1.7.0_71 /usr/lib/jdk

2.3将java添加到环境变量中

# vim /etc/profile

//在文件最后添加

export JAVA_HOME=/usr/lib/jdk

export PATH=$PATH:$JAVA_HOME/bin

# source /etc/profile//刷新配置

# java –version//验证，查看java版本

3.配置ssh免登陆

# cd ~//进入到我的home目录

ssh-keygen -t rsa（四个回车）

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免登陆的机器上

# ssh-copy-id h1m1 (或# cat ~/.ssh/id_rsa.pub>> ~/.ssh/ authorized_keys)

# cat ~/.ssh/authorized_keys//查看rsa

4.安装hadoop2.6.0（注：为方便操作，使用xshell远程登录到linux）

按安装java方式把hadoop解压到/usr/lib/Hadoop

4.1配置hadoop

4.1.1 配置hadoop-env.sh

#cd /usr/lib/hadoop

# vim etc/hadoop/hadoop-env.sh(注意，此处不是系统的etc目录)

将JAVA_HOME修改为刚才配置的位置

4.1.2配置core-site.xml

# vim etc/hadoop/core-site.xml

添加以下内容：

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://h1m1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/lib/hadoop/tmp</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>4096</value>

</property>

</configuration>

4.1.3 配置hdfs-site.xml

# vim etc/hadoop/hdfs-site.xml

添加以下内容：

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:///usr/lib/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:///usr/lib/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.nameservices</name>

<value>h1</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>h1m1:50090</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

</configuration>

4.1.4配置mapred-site.xml

# cp mapred-site.xml.template mapred-site.xml

# vim etc/hadoop/mapred-site.xml

添加以下内容：

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

<final>true</final>

</property>

<property>

<name>mapreduce.jobtracker.http.address</name>

<value>h1m1:50030</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>h1m1:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>h1m1:19888</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>http://h1m1:9001</value>

</property>

</configuration>

4.1.5配置yarn-site.xml

# vim etc/hadoop/yarn-site.xml

添加以下内容：

<configuration>

<!-- Site specific YARN configurationproperties -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>h1m1</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>h1m1:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>h1m1:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>h1m1:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>h1m1:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>h1m1:8088</value>

</property>

</configuration>

4.2 将hadoop添加到环境变量

#vim /etc/profile

export HADOOP_HOME=/usr/lib/hadoop

exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# source /etc/profile

4.3 格式化namenode（对namenode进行初始化。注：如果多次格式化导致DN不能正常启动请参考我的另一篇文章“hadoop多次格式化namenode造成datanode无法启动问题解决”）

# hdfs namenode -format (hadoop namenode -format)

4.4启动hadoop

先启动HDFS

# sbin/start-dfs.sh

再启动YARN

# sbin/start-yarn.sh

4.5验证是否启动成功

# jps

如果出现类似以下则成功

至此伪分布式hadoop搭建完成！

5.配置slave

5.1按上述配置系统、jdk、hostname和IP改为对应的值，在每台机配置其他每台机host映射；设置免密码登陆,并在各机上将自己的rsa_pub拷贝到其他每台机authorized_keys中

5.2复制hadoop到slave

# scp -r /usr/lib/hadoop h1s1:/usr/lib/

# scp -r /usr/lib/hadoop h1s2:/usr/lib/

5.3 启动hadoop，并验证

# sbin/start-dfs.sh

# sbin/start-yarn.sh

至此分布式集群搭建成功！

注：如果不能启动，需要把hadoop目录下tmp、dfs目录删除，重新格式化NN再启动