Hadoop集群的安装

一、准备工作
1.电脑配置要求，基本要求：内存需要8个G或者8个G以上。
2.安装VMware Workstation Pro14，并且下载好CentOS7的镜像。
3.安装好centos版本的linux系统
4.完整克隆两台Linux系统
5.查看三台机子的IP地址：ip addr
7.修改网络IP地址：设置为静态
8.修改主机名：vim /etc/hostname 重启电脑
6.添加主机映射vim /etc/hosts
192.168.3.100 master
192.168.3.101 slaver01
192.168.3.102 slaver02

二、ssh免密登录
ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id slaver01
ssh-copy-id slaver02
另外两台机子，执行相同的步骤

三、安装jdk
1卸载原有的jdk
rpm -qa |grep java |xargs prm -e --nodeps
2安装jdk
1.解压
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
2.改名
mv jdk1.8.0_231/ /opt/module/java
3.写配置 vim /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/java
export PATH=$PATH:$JAVA_HOME/bin
生效：source /etc/profile

  4. 测试
  java -version
  5.分发jdk	
   scp -r /opt/module  root@hadoop101:/etc/profile
   scp -r /opt/module  root@hadoop102:/etc/profile
  生效：source /etc/profile

四、在master中安装hadoop

1解压
tar -zxvf /opt/software/hadoop-2.7.5.tar.gz -C /opt/module//opt/module/hadoop

2改名
mv hadoop-2.7.5/ /opt/module/hadoop

3修改配置 vim /etc/profile
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
生效：source /etc/profile
4测试
hadoop version
----------------------------修改Hadoop配置-------------------------------
（1）配置core-site.xml
vim core-site.xml

fs.defaultFS hdfs://hadoop100:9000 hadoop.tmp.dir /opt/module/hadoop/data/tmp __________________________________________________________ （2）配置hadoop-env.sh vim hadoop-env.sh

export JAVA_HOME=/opt/module/java

——————————————————————————————————————————————————————————
（3）配置hdfs-site.xml
vim hdfs-site.xml

dfs.replication
3

dfs.namenode.secondary.http-address slaver02:50090 ____________________________________________________________ （4）配置yarn-env.sh vim yarn-env.sh export JAVA_HOME=/opt/module/java ———————————————————————————————————————————————————————————— （5）.配置yarn-site.xml vim yarn-site.xml 在该文件中增加如下配置 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname slaver01 ____________________________________________________________ （6).配置mapred-env.sh vim mapred-env.sh export JAVA_HOME=/opt/module/java _____________________________________________________________ (7).配置mapred-site.xml cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

在该文件中增加如下配置

mapreduce.framework.name yarn

4.分发集群
scp -r /opt/module root@slaver01:/opt/module
scp -r /opt/module root@slaver02:/opt/module

相关推荐