大数据之HadoopHadoop运行环境搭建

Hadoop运行环境搭建

• • 一、虚拟机环境准备
  • 二、安装JDK
  • 三、安装Hadoop
  • 四、Hadoop的目录结构
  • 五、注意

• 对于centos 6、jar包等有什么问题，以及需要安装包的，欢迎留言。

一、虚拟机环境准备

• 1、克隆虚拟机：
  （1）右键CentOS 6 64，然后点击管理，再点击克隆。
  

  
  

  （2）点击下一步：
  

  
  

  （3）再次点击下一步
  

  
  

  （4）选择创建完整的克隆
  

  
  

  （5）配置虚拟机名称，点击完成即可
  

  

• 2、修改克隆虚拟机的静态IP
  （1）运行hadoop101虚拟机，接着使用root账号进行登录。
  （2）右键桌面，选择在终端打开
  

  

  
  （3）修改ip地址 vim /etc/udev/rules.d/70-persistent-net.rules
  

  

  
  （4）删除eth0网卡。
  

  

  
  （5）将eth1改为eth0
  

  

  
  （6）复制address，并保存退出文件。
  

  

  
  （7）配置网络，vim /etc/sysconfig/network-scripts/ifcfg-eth0
  （8）修改物理ip地址（也就是第（6）步复制的address）
  

  

  
  （9）接下来修改ip地址，退出并保存
  

  

• 3、修改主机名
  （1）vim /etc/sysconfig/network，将HOSTNAME改为hadoop101
  

  

  
  （2）配置hosts，即：vim /etc/hosts，添加刚刚配置的ip和主机名
  

  

  
  （3）都配置好之后，输入reboot重启。
  （4）输入ifconfig，查看ip
  

  

  
  （5）ping一下百度
  

  

  
  （6）ping一下hadoop101
  

  

  
  （7）ping一下自己的电脑
  

  

  
  （8）在windows，paths中添加ip到主机名的映射，并在windows上ping一下hadoop101
  

  

• 4、关闭防火墙
  （1）使用chkconfig --list iptables查看防火墙状态
  

  

  
  （2）若没有关闭，输入chkconfig iptables off
• 5、创建atguigu用户
  

  

• 6、配置atguigu用户具有root权限
  （1）输入vim /etc/sudoers，给atguigu赋予权限
  

  

• 7.在/opt目录下创建文件夹，/opt：操作目录
  （1）在/opt目录下创建module、software文件夹：software用于存储jar包，jar解析完成之后存入module：sudo mkdir module, sudo mkdir sortware。
  （2）修改module和software的所有者和所有组：sudo chown atguigu:atgugui module/ software/
  

  

二、安装JDK

1、首先通过xftp将jar包传输到hadoop101的/opt/software目录下。

2、解压JDK到/opt/module/目录下，解压命令为：tar -zxvf 压缩包 -C /opt/moudle/

3、进入JDK。

4、使用pwd获取jdk的路径

5、使用JDK的路径配置JAVA_HOME

6、接着输入source /etc/profile，java就安装成功了

三、安装Hadoop

1、进入/opt/software目录

2、解压hadoop。

3、进入hadoop目录，配置环境变量

4、source /etc/profile之后，hadoop安装成功

四、Hadoop的目录结构

（1）bin目录：存放对Hadoop相关服务（HDFS，YARN）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

五、注意

1、如何配置CentOS 6 64。
2、Java包、Hadoop包等。
上述这些问题，可以随时留言给博主。