AI导航网
微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

Hadoop3.1.3版本安装CentOs7环境

分类：Hadoop作者：编程之家原文地址

集群Hadoop实验(虚拟机模拟)centOS

选择一台作为Master，其余的作为Slave结点。

三台虚拟机的用户名都是qinphy

官网下载Hadoop3.1.3(https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz )

ssh网络配置

三台虚拟机都需要做的

  1. 卸载原有的ssh：原本的有缺陷。
  2. 安装ssh
  3. 修改ssh的配置文件，使其能够ssh远程用密码登录。
  4. 修改hosts文件，配置网络地址的映射。
  5. 测试本地连接，自动生成~/.ssh文件夹
# 卸载安装中途都默认yes
$ sudo yum remove openssh-server
$ sudo yum install openssh-server
$ sudo vi /etc/ssh/sshd_config

ssh配置文件需要添加的内容：

Port=22
PermitRootLogin=yes
PasswordAuthentication=yes

# 启动ssh服务
$ sudo systemctl start sshd.service
$ sudo vi /etc/hosts

hosts文件需要添加的内容(每台机器的IP地址和自定义的结点名称)

192.168.165.132 Master
192.168.165.130 Slave1
192.168.165.131 Slave2

内容是IP + 结点名称，构成地址映射。

# 测试映射和连接，在Master上：
$ ping Slave1 -c 3
$ ping Slave2 -c 3
# 有时间显示，连接正常
# 测试本地连接
$ ssh localhost
password:
$ exit

Master结点要做的

  1. 用ssh设置免密登录
  2. 测试本地免密
  3. 测试免密登录Slave1和Slave2
$ cd ~/.ssh
$ ssh-keygen -t rsa
# 一直回车即可
$ cat ./id_rsa.pub >> ./authorized_keys
$ chmod 600 ~/.ssh/authorized_keys
$ ssh localhost
# 这里不用输入密码
$ exit
$ ssh-copy-id qinphy@Slave1
yes
password:
$ ssh-copy-id qinphy@Slave2
yes
password:

安装JAVA环境

JAVA选择的是JDK1.8版本，提前下载到了windows里面

这里采用手动安装：

  1. XShell自带文件传输

  2. 也可以安装lrzsz传输文件：

    # 三台虚拟机都要做的
$ sudo yum install lrzsz
# rz上传文件
# sz下载文件

# 三台虚拟机都需要安装JAVA环境
# 创建~/Downloads文件夹，把外来的软件包放这里
$ mkdir ~/Downloads
$ cd ~/.Downloads
# 安装了lrzsz就用rz上传
$ rz
# 创建jvm文件夹，这里是JAVA环境的安装位置
$ cd /usr/lib
$ sudo mkdir jvm
# 解压安装JDK
$ cd ~/Downloads
$ sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
# 设置JAVA环境变量
$ vim ~/.bashrc

JAVA环境变量：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLAsspATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

# 使环境变量生效
$ source ~/.bashrc
# 验证是否安装成功
$ java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

安装Hadoop只在Master上

  1. 解压安装Master
  2. 授权给qinphy用户
$ cd ~/Downloads
# 用lrzsz上传也可以使用Xshell自带的文件传输
$ rz
$ sudo tar -zxf ./hadoop-3.1.3.tar.gz -C /usr/local
$ cd /usr/local
# 更改文件夹名称
$ sudo mv ./hadoop-3.1.3/ ./hadoop
$ sudo chown -R qinphy ./hadoop
$ cd /usr/local/hadoop
$ ./bin/hadoop version
hadoop-2.7.1
...

Hadoop集群配置

  1. 配置环境变量

    export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

$ sudo vi ~/.bashrc
$ source ~/.bashrc
  1. 配置分布式环境
$ cd /usr/local/hadoop/etc/hadoop
$ sudo vi workers

# Hadoop-2.7.1方法：
$ sudo vi slaves

slaves文件配置

# 删除localhost
# localhost
Slave1
Slave2

$ sudo vi core-site.xml

core-site.xml 文件配置：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

$ sudo vi hdfs-site.xml

hdfs-site.xml文件配置：

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

$ sudo vi mapred-site.xml

# 安装Hadoop-2.7.1如下方法：
$ sudo mv mapred-site.xml.template mapred-site.xml
$ sudo vi mapred-site.xml

mapred-site.xml配置文件：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>

$ sudo vi yarn-site.xml

yarn-site.xml配置文件：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

Slave结点的配置

  1. 把Master结点的Hadoop文件移植到Slave节点上。
  2. Slave结点解压安装这些文件。
# Master结点上的压缩转移
$ cd /usr/local
$ tar -zcf ~/hadoop.master.tar.gz ./hadoop
$ cd ~
$ scp ./hadoop.master.tar.gz Slave1:/home/qinphy
password:
$ scp ./hadoop.master.tar.gz Slave2:/home/qinphy
password:
# 在Salve结点上：
$ sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
$ sudo chown -R qinphy /usr/local/hadoop

Master结点的启动

# 初始化Namenode，只在第一次运行时需要
$ hdfs namenode -format

注意：CentOS需要关闭防火墙：

$ systemctl stop firewalld.service
$ systemctl disable firewalld.service

启动结点：

$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver
# 以上语句等同于：
$ start-all.sh
# 在Master上验证：
$ jps
# 在Slave上验证
$ cd /usr/local/hadoop
$ jps

Master验证结果：

Master

Slave1上验证结果：

Slave

Slave2上验证结果：

Slave

Master还有一个重要的report验证：

$ hdfs dfsadmin -report

结果是(出现Live datanode != 0)：

Report

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。

相关推荐

hadoop day2-搭建
hadoop搭建准备工作三台虚拟机：master、node1、node2检查时间是否同步：date检查java的jdk是否被安装好：java-version修改主机名三台分别执行vim/etc/hostname并将内容指定为对应的主机名 关闭防火墙：systemctlst...
Hadoop 二十三
文件的更名和移动:    获取文件详细信息       遇到的问题：不能直接在web上上传文件。   权限问题：修改后即可正常创建  参考：https://blog.csdn.net/weixin_44575660/article/details/118687993
大数据Hadoop之——HDFS小文件问题与处理实战操作
目录一、背景1）小文件是如何产生的？2）文件块大小设置3）HDFS分块目的二、HDFS小文件问题处理方案1）HadoopArchive（HAR）2）Sequencefile3）CombineFileInputFormat4）开启JVM重用5）合并本地的小文件，上传到HDF...
大数据Hadoop之——Hadoop HDFS多目录磁盘扩展与数据平衡实战操作
目录一、概述二、HadoopDataNode多目录磁盘配置1）配置hdfs-site.xml2）配置详解1、dfs.datanode.data.dir2、dfs.datanode.fsdataset.volume.choosing.policy3、dfs.datanode.available-space-volume-choosing-polic...
平台搭建伪分布式
平台搭建（伪分布式）伪分布式搭建在VM中搭建std-master修改配置文件centos7-cl1.vmdkstd-master.vmx-将配置文件中vm的版本号改成自己电脑对应的vm版本修改客户端的操作系统为centos764位打开虚拟机修改虚拟机网络cd...
Harley浅谈HadoopHDFS
 一、HDFS概述 1.1、HDFS产出背景及定义 1.1.1、HDFS产生背景   随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管...
Hadoop 十二
配置workers进入hadoop/etc/hadoop  编辑workers文件  然后分发给另外两个服务器     准备启动集群第一次需要初始化.  初始化完成后增加了data文件，  进入上面那个路径，就能看到当前服务器的版本号 ...
第六周总结8.13
这周我对ssm框架进行了更深一步的开发，加入了多用户，并对除登录外的请求进行了拦截，这样用户在未登录的时候是访问不到资源的。并且对hadoop进行了初步的学习，包括虚拟机的安装等等。下周会对hadoop进行更深一步的...
安装Hadoop2.10.1
前言通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop所有文件同步到其他Hadoop节点。一、集群规划#主机名‘master/hadoop1’‘slave01/hadoop2’‘slave02/hadoop3’#启动节点NamenodeNodemanagerNod...
集群崩溃处理
1.先杀死进程（先进入到hadoop版本文件里，我的是/opt/module/hadoop-3.1.3/）sbin/stop-dfs.sh2.删除每个集群上的data以及logsrm-rfdata/logs/3.格式化hdfsnamenode-format4.再启动sbin/sart-dfs.sh
    pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native