微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Hadoop-环境搭建

目录

Centos7国内镜像下载

国内阿里云镜像下载:https://mirrors.aliyun.com/centos/7/isos/x86_64/
进入阿里云站点,选择 CentOS-7-x86_64-DVD-1810.iso下载

image-20210711194030198

VM安装Centos7

image-20210711194156472

image-20210711194213775

image-20210711194232977

image-20210711194321759

image-20210711194400959

image-20210711194414711

image-20210711194431735

image-20210711194605823

image-20210711194618896

image-20210711194636039

image-20210711194655983

image-20210711194722049

image-20210711194830314

image-20210711194854239

image-20210711195028624

image-20210711195148273

image-20210711195212788

image-20210711195515659

image-20210711195527744

image-20210711195544519

image-20210711195635136

image-20210711195653489

初始化配置

安装epel-release

Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包,适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库,大多数 rpm 包在官方 repository 中是找不到的)

  • yum install -y epel-release

如果 Linux 安装的是最小系统版, 还需要安装如下工具; 如果安装的是 Linux桌面标准版,不需要执行如下操作

  • net-tool:工具包集合,包含 ifconfig 等命令yum install -y net-tools
  • vim:编辑器yum install -y vim

关闭防火墙 ,关闭防火墙开机自启

  • systemctl stop firewalld
  • systemctl disable firewalld.service
  • 在企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙

image-20210711203952837

配置HOST文件

192.168.80.100 hadoop100
192.168.80.101 hadoop101
192.168.80.102 hadoop102
192.168.80.103 hadoop103
192.168.80.104 hadoop104
192.168.80.105 hadoop105
192.168.80.106 hadoop106
192.168.80.107 hadoop107
192.168.80.108 hadoop108

image-20210711202418582

配置主机名

image-20210711202314915

配置静态IP

# 需要修改的配置如下
BOOTPROTO="static"
IPADDR=192.168.80.101
GATEWAY=192.168.80.2
DNS1=192.168.80.2
# 使配置生效
service network restart 

image-20210711200630585

image-20210711202614359

image-20210711203904073

JAVA安装

卸载虚拟机自带的 JDK

如果虚拟机是最小化安装不需要执行这一步

查询虚拟机自带的JDKrpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

  • rpm -qa:查询所安装的所有 rpm 软件包
  • grep -i:忽略大小写
  • xargs -n1:表示每次只传递一个参数
  • rpm -e –nodeps:强制卸载软件

下载Java

Java1.8下载地址:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

image-20210711201330852

通过FTP上传至Linux

image-20210711202912450

解压缩软件

tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/moudle/

配置JAVA环境变量

# 创建自定义配置文件
vim /etc/profile.d/my_env.sh
# JAVA_HOME
export JAVA_HOME=/opt/moudle/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
# 使配置生效
source /etc/profile

image-20210711203324477

HADOOP安装

下载Hadoop

Hadoop3.xx下载地址:http://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

image-20210711200930944

通过FTP上传至Linux

image-20210711203432583

解压缩软件

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/moudle/

配置HADOOP环境变量

# 创建自定义配置文件
vim /etc/profile.d/my_env.sh
# HADOOP_HOME
export HADOOP_HOME=/opt/moudle/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
# 使配置生效
source /etc/profile

image-20210711203634369

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐