AI导航网
微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

hadoop和hadoop集群在CentOS7系统下安装和配置

分类：Hadoop作者：编程之家原文地址

文章目录

一.安装CentOS7的linux系统

二.hadoop安装前准备

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.56.101 hadoop101

三.hadoop安装和相关文件配置

(一)安装Hadoop

  • 1.将hadoop的安装包拖进opt目录下
  • 2.安装该文件: tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
  • 3.删除安装包: rm -rf hadoop-2.6.0-cdh5.14.2.tar.gz

(二)修改配置文件

  • 进入安装目录下hadoop目录: cd /opt/hadoop-2.6.0-cdh5.14.2/etc/hadoop

1.hadoop-env.sh运行环境的文件修改

  • 打开文件: vi hadoop-env.sh,然后按25gg跳到jdk环境配置修改为自己的Java目录:
export JAVA_HOME=/opt/jdk1.8.0_221

2.core-site.xml配置文件修改(机器ip为192.168.56.101)

<!-- 默认节点(写自己主机的ip)端口,端口默认为9000 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.56.101:9000</value>
</property>
<!-- hdfs的临时文件的目录  -->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/hadoop-2.6.0-cdh5.14.2/hdfsTmp</value>
</property>
<!-- 其他机器的root用户可访问 -->
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
</property>
<!-- 其他root组下的用户都可以访问 -->
<property>
 	<name>hadoop.proxyuser.root.groups</name>
   	<value>*</value>
</property>

3.hdfs-site.xml配置文件的修改

<!-- 设置数据块应该被复制的份数(和集群机器数量相等) -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<!-- namenode备用节点  -->
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop101:50090</value>
</property>

4.新建mapred-site.xml文件写入如下内容:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- mapreduce的工作模式:yarn -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<!-- mapreduce的工作地址 -->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.56.101:10020</value>
</property>
<!-- web页面访问历史服务端口的配置 -->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.56.101:19888</value>
</property>
</configuration>

5.yarn-site.xml配置文件修改

<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址,值为主机名 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop101</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

6.slaves配置: vi slaves

  • 将内容改为自己的主机名: hadoop101

7.hadoop环境变量配置

  • 输入: vi /etc/profile,在Java环境配置下插入如下内容:
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.14.2
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
  • 输入: source /etc/profile,使其生效

(三)格式化HDFS:hadoop namenode -format

(四)启动和关闭的命令:

  • start-all.sh :启动hdfs和yarn
  • start-dfs.sh :启动hdfs
  • start-yarn.sh:启动yarn
  • stop-all.sh:关闭hdfs和yarn
  • stop-dfs.sh:关闭hdfs
  • stop-yarn.sh:关闭yarn
  • mr-jobhistory-daemon.sh start historyserver :启动历史服务
  • mr-jobhistory-daemon.sh stop historyserver:关闭历史服务

四.验证是否成功(先启动hdfs,yarn,历史服务)

  • 方式1: jps命令若出现除jps进程的以下六个进程说明启动成功

    jps命令

  • 方式2:进入网页测试
  • 1).输入:http://192.168.56.101:50070,若能出现如下页面即成功启动了hdfs

    hdfs

  • 2)输入:http://192.168.56.101:8088,若能出现如下页面即成功启动了yarn

yarn

  • 3)输入:http://192.168.56.101:19888,若能出现如下页面即成功启动了历史服务

    历史服务

五.解决命令执行后报如下警告:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

  • 将native安装包解压安装到hadoop安装目录的lib目录和lib目录下的native目录即可
tar -xvf hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib/native

tar -xvf hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib

六.集群搭建

(一)复制虚拟机(复制前删除主机器hdfs临时文件目录,然后关闭主机器),如下:

复制虚拟机

(二)启动副本机器,修改静态ip

  • 使用root用户登录
  • 输入: vi /etc/sysconfig/network-scripts/ifcfg-enp0s3,将最后一行的ip地址修改(一般与主机器连号)
  • 输入: systemctl restart network ,重启网络
  • 输入: vi /etc/hostname,修改主机名
  • 输入: vi /etc/hosts,修改主机列表(主机器也要修改)然后重启reboot,为简单演示只配两台机器,如下

    配置主机列表

(三)启动所有集群机器,配置免登录

  • 1.由于之前hadoop搭建配置过免登录,需要先删除文件,输入: cd /root/.ssh/,删除私钥文件: rm -rf id_rsa ,然后回到家目录: cd ~
  • 2.生成私钥: ssh-keygen -t rsa -P "" ,输入命令后直接回车
  • 3.输入: cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
  • 4.远程免登录配置: ssh-copy-id -i .ssh/id_rsa.pub -p22 [email protected](有n个机器,就要配n-1次)
  • 5.验证免登录: ssh [email protected] 或 ssh root@hadoop111,无需密码验证即当前机器对111机器免登录配置成功(有多少台机器都要验证)

(四)修改主机器的配置文件

  • 1.进入hadoop安装目录下的etc目录下的hadoop目录: cd /opt/hadoop-2.6.0-cdh5.14.2/etc/hadoop
  • 2.修改hdfs配置文件: vi hdfs-site.xml,将dfs.replication属性的值改为集群的机器数目,将dfs.namenode.secondary.http-address属性的值改为一个副本机器的主机名,如下:

    hdfs

  • 3.修改slaves文件: vi slaves,将所有机器主机名添加进去,如下:

    在这里插入图片描述

(五)修改副本机器的配置文件

  • 1.进入hadoop安装目录下的etc目录下的hadoop目录: cd /opt/hadoop-2.6.0-cdh5.14.2/etc/hadoop

  • 2.修改hdfs配置文件: vi hdfs-site.xml,将dfs.replication属性的值改为集群的机器数目,将dfs.namenode.secondary.http-address属性的值改为主机器选择的副本机器的主机名,如下:

    hdfs

  • 3.修改slaves文件: vi slaves,将所有机器主机名添加进去,如下:

    在这里插入图片描述

  • 4.修改 :vi mapred-site.xml ,将地址改为当前主机的地址,如下

    在这里插入图片描述

  • 5.在主机器下格式化hdfs: hadoop namenode -format

  • 6.在主机器下运行: start-all.sh和 mr-jobhistory-daemon.sh start historyserver

  • 7.在主机器下输入:jps,效果如下:

    主机器

  • 8.在副本器下输入:jps,效果如下:

    副本

  • 9.打开网页验证

七.附安装视频,提取码: xaw6

hadoop配置

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。

相关推荐

hadoop day2-搭建
hadoop搭建准备工作三台虚拟机：master、node1、node2检查时间是否同步：date检查java的jdk是否被安装好：java-version修改主机名三台分别执行vim/etc/hostname并将内容指定为对应的主机名 关闭防火墙：systemctlst...
Hadoop 二十三
文件的更名和移动:    获取文件详细信息       遇到的问题：不能直接在web上上传文件。   权限问题：修改后即可正常创建  参考：https://blog.csdn.net/weixin_44575660/article/details/118687993
大数据Hadoop之——HDFS小文件问题与处理实战操作
目录一、背景1）小文件是如何产生的？2）文件块大小设置3）HDFS分块目的二、HDFS小文件问题处理方案1）HadoopArchive（HAR）2）Sequencefile3）CombineFileInputFormat4）开启JVM重用5）合并本地的小文件，上传到HDF...
大数据Hadoop之——Hadoop HDFS多目录磁盘扩展与数据平衡实战操作
目录一、概述二、HadoopDataNode多目录磁盘配置1）配置hdfs-site.xml2）配置详解1、dfs.datanode.data.dir2、dfs.datanode.fsdataset.volume.choosing.policy3、dfs.datanode.available-space-volume-choosing-polic...
平台搭建伪分布式
平台搭建（伪分布式）伪分布式搭建在VM中搭建std-master修改配置文件centos7-cl1.vmdkstd-master.vmx-将配置文件中vm的版本号改成自己电脑对应的vm版本修改客户端的操作系统为centos764位打开虚拟机修改虚拟机网络cd...
Harley浅谈HadoopHDFS
 一、HDFS概述 1.1、HDFS产出背景及定义 1.1.1、HDFS产生背景   随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管...
Hadoop 十二
配置workers进入hadoop/etc/hadoop  编辑workers文件  然后分发给另外两个服务器     准备启动集群第一次需要初始化.  初始化完成后增加了data文件，  进入上面那个路径，就能看到当前服务器的版本号 ...
第六周总结8.13
这周我对ssm框架进行了更深一步的开发，加入了多用户，并对除登录外的请求进行了拦截，这样用户在未登录的时候是访问不到资源的。并且对hadoop进行了初步的学习，包括虚拟机的安装等等。下周会对hadoop进行更深一步的...
安装Hadoop2.10.1
前言通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop所有文件同步到其他Hadoop节点。一、集群规划#主机名‘master/hadoop1’‘slave01/hadoop2’‘slave02/hadoop3’#启动节点NamenodeNodemanagerNod...
集群崩溃处理
1.先杀死进程（先进入到hadoop版本文件里，我的是/opt/module/hadoop-3.1.3/）sbin/stop-dfs.sh2.删除每个集群上的data以及logsrm-rfdata/logs/3.格式化hdfsnamenode-format4.再启动sbin/sart-dfs.sh
    pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native