Hadoop伪分布式环境搭建

1 实验目的
• 了解Hadoop的安装方式
• 掌握Hadoop伪分布式安装部署的方法

2 Hadoop部署架构
（1）单机部署
没有守护进程，不分主从，这种部署方式很少用。

（2）伪分布式部署
主从节点都在一台主机上，可用于在本机模拟一个主节点、一个从节点的集群，本次课程就以这种方式为例演示Hadoop伪分布式的搭建过程。

（3）分布式集群部署
有多个节点，主从进程分别在不同机器运行。后续章节会详细介绍Hadoop完全分布式集群搭建过程。

3 实验描述
伪分布式安装Hadoop核心组件HDFS和Yarn+MapReduce。

4 实验步骤
（1）关闭防火墙
• 查看防火墙状态的命令：
systemctl status firewalld

• 关闭防火墙的命令：
systemctl stop firewalld
systemctl disable firewalld

（2）关闭selinux
• 查看selinux状态的命令：
sestatus

• 在配置文件中永久关闭，需要重启机器：
vim /etc/sysconfig/selinux

• 下面为selinux文件中需要修改的元素：
SELINUX=disabled

• 修改完成后需要重启
reboot

（3）配置网卡
vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改：
BOOTPROTO=static
ONBOOT=yes
添加：IPADDR=192.168.##.** (##与VM一致，****为自己设置，且每台虚拟机的是唯一的）
PREFIX=24
GATEWAY=192.168.##.2
NETMASK=255.255.255.0
重启网卡：
service network restart

（3）修改主机名为并映射ip
• 永久修改主机名：
hostnamectl set-hostname 主机名
修改的主机名立即生效：
bash

• 配置主机名与IP地址的映射：vim /etc/hosts
主机ip地址 admin

（4）配置SSH（secure shell）免密登录
• 产生密钥
ssh-keygen -t rsa

• 创建公钥
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

• 验证：
执行命令：ssh 主机名
执行命令：exit 退出连接

（5）安装配置JDK1.8
• 检查JDK是否已安装：
java –version

• jdk1.8的安装：下载好的jdk安装包放在虚拟机的/share/bigdata/jdk目录下

• 将安装包拷贝到/usr/local目录下
cp /share/bigdata/jdk/jdk-8u112-linux-x64.tar.gz /usr/local
tar zxvf jdk-8u112-linux-x64.tar.gz //解压jdk
mv jdk1.8.0_112 jdk //文件夹换成短名

• 设置环境变量：
vim /etc/profile #编辑此文件，增加2行内容
export JAVA_HOME=/usr/local/jdk
export PATH=.: $JAVA_HOME/bin:$ JAVAHOME/bin:PATH

• 执行以下命令，使设置立即生效
source /etc/profile

（6）安装配置Hadoop
• 进入hadoop的存放目录，解压hadoop
tar zxvf hadoop-2.7.3.tar.gz #解压安装包
mv hadoop-2.7.3 hadoop #改为短名

• 设置环境变量：
vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=.: $HADOOP_HOME/bin:$ HADOOPHOME/bin:HADOOP_HOME/sbin:$PATH

• 执行以下命令，使设置立即生效
source /etc/profile

• 修改./etc/hadoop/hadoop-env.sh 文件，配置jdk的路径
export JAVA_HOME= /usr/local/jdk

• 修改yarn-env.sh 文件，配置jdk的路径
export JAVA_HOME=/usr/local/jdk

• 修改Hadoop配置文件, 这些配置文件都放在/usr/local/hadoop/etc/hadoop目录下
vim /etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>

vim etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

• 修改MapReduce配置文件
vim /etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

vim etc/hadoop/yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

4.2 配置并启动HDFS

格式化HDFS
hdfs namenode -format
启动HDFS并验证
start-dfs.sh
查看HDFS是否启动
jps

通过jps命令查看java进程：如果已经启动了NameNode、Datanode、SecondaryNameNode三个进程，说明HDFS启动成功。

• 访问NameNode Web UI
访问地址：http://localhost:50070/

4.3 配置并启动Yarn+Mpareduce

启动Yarn+MapReduce
start-yarn.sh
查看MR是否启动
jps

通过jps命令查看java进程：如果已经启动了ResourceManager、NodeManager两个进程，说明MapReduce启动成功。

• 访问ResourceManager Web UI
访问地址：http://localhost:8088/

Hadoop伪分布式环境搭建

Hadoop伪分布式环境搭建

相关推荐