AI导航网
微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

Hadoop-全分布模式

分类：Hadoop作者：编程之家原文地址

准备工作

操作系统：Linux（以CentOS为例，一台master，三台slvae）
JDK版本：jdk-1.8.1_212
Hadoop版本：hadoop-2.8.3

步骤（使用hadoop用户，各节点同时进行）

1.修改hadoop-env.sh配置文件

参考 hadoop-单机模式

2.设置Hadoop环境变量

sudo vim /etc/profile

添加如下配置

export HADOOP_HOME=/usr/local/hadoop-2.8.3
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_PREFIX=$HADOOP_HOME
export CLAsspATH=$CLAsspATH:.:$HADOOP_HOME/bin

在这里插入图片描述


使配置生效

source /etc/profile

在这里插入图片描述

2.指定slave节点（该步骤只在master节点操作）

vim /usr/local/hadoop-2.8.3/etc/hadoop/slaves

删除localhost，添加

slave1
slave2
slave3

在这里插入代码片

3.修改/etc/hadoop/core-site.xml配置文件

vim /usr/local/hadoop-2.8.3/etc/hadoop/core-site.xml

在标签中添加如下配置

<configuration>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop/tmp</value>
		<description>Abase for other temporary directories.</description>
	</property>
	<property>
		<name>fs.defaultFS</name>
		<!--master:/etc/hosts 配置的域名 master -->
		<value>hdfs://master:9000/</value>
	</property>
</configuration>

在这里插入图片描述

4.修改/etc/hadoop/hdfs-site.xml配置文件

vim /usr/local/hadoop-2.8.3/etc/hadoop/hdfs-site.xml

在标签中添加如下配置

<configuration>
	<!--指定hdfs中namenode的存储位置-->
	<property>
		<name>dfs.namenode.name.dir</name>
		<!-- value 设置为/usr/local/hadoop/dfs/namenode，启动时会有warn信息-->
		<value>file:///usr/local/hadoop-2.8.3/dfs/namenode</value>
	</property>
	<!--指定hdfs中datanode的存储位置-->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///usr/local/hadoop-2.8.3/dfs/datanode</value>
	</property>
	<!--指定hdfs保存数据的副本数量-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<!--配置namenode.secondary地址,如默认的50070被占用，可以换成50071-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>master:50071</value>
	</property>
</configuration>

在这里插入图片描述

5.添加/etc/hadoop/mapraduce-site.xml配置文件

hadoop-2.8.3/etc/hadoop文件夹中没有mapraduce-site.xml文件，需要将mapraduce-site.xml.template文件复制并更名为mapraduce-site.xml，再进行修改，用于指定MapReduce使用的框架。

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

vim etc/hadoop/mapred-site.xml

在标签中添加如下配置

<configuration>
	<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!-- 以下两项为启动jobhistory服务设置项，后面用到map reduce 时需要 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
</configuration>

在这里插入图片描述

6.指定HDFS文件存储位置（默认/tmp）

创建临时目录和文件目录

mkdir -p /usr/local/hadoop-2.8.3/tmp

master节点（只在master节点上操作）：

mkdir -p /usr/local/hadoop-2.8.3/tmp/name

slvae节点（只在slave节点上操作）：

mkdir -p /usr/local/hadoop-2.8.3/tmp/data

（-p：确认该目录是否存在，如果不存在则创建）

给/tmp文件夹授权

sudo chmod -R 777 /usr/local/hadoop-2.8.3/tmp

在这里插入图片描述

7.修改/etc/hadoop/yarn-site.xml配置文件

vim /usr/local/hadoop-2.8.3/etc/hadoop/yarn-site.xml

在标签中添加如下配置

<configuration>
	<!-- Site specific YARN configuration properties -->
	<!--nomenodeManager获取数据的方式是shuffle-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!--配置shuffle，因为map和reduce之间有个shuffle过程，-->
	<property>
		<name>yarn.nademanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<!--为每个rm-id设置主机：端口用来提交作业。-->
	<property>
		<name>yarn.resourcemaneger.address</name>
		<value>master:8032</value>
	</property>
	<!--调度器接口的地址。-->
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>master:8030</value>
	</property>
	<!--对每个rm-id设置NodeManager连接的host-->
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>master:8031</value>
	</property>
	<!--对每个rm-id指定管理命令的host-->
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>master:8033</value>
	</property>
	<!--对每个rm-id，指定RM webapp对应的host-->
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>master:8088</value>
	</property>
	<!-- 关闭虚拟内存检查-->
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
</configuration>

在这里插入图片描述

8.修改env环境变量文件

在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件（hadoop-2.8.3/etc/hadoop目录下）添加JAVA_HOME：

export JAVA_HOME=/usr/local/jdk

9.格式化HDFS

在hadoop-2.8.3目录下：

bin/hadoop namenode -format

在这里插入图片描述


格式化成功

10.开启服务（该步骤只在master节点操作）

hadoop-2.8.3目录下：
启动HDFS：

sbin/start-dfs.sh

在这里插入图片描述


启动YARN：

sbin/start-yarn.sh

在这里插入图片描述


启动job history server：

sbin/mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述

11.查看进程

jps

在这里插入图片描述

12.访问NameNode的Web页面，端口号：50070

http:// NameNode IP:50070
例：http://192.168.1.190:50070

在这里插入图片描述

13.访问Resourcemanger的Web页面,端口号：8088

http:// NameNode IP:8088
例：http://192.168.1.190:8088

在这里插入图片描述

14.测试（该步骤只在master节点操作）

Hadoop-2.8.3目录下：
创建 HFDS

bin/hdfs dfs -mkdir /user

bin/hdfs dfs -mkdir /user/test

bin/hdfs dfs -mkdir /user/test/input

将input文件拷贝到HFDS目录下

bin/hdfs dfs -put /usr/local/hadoop-2.8.3/etc/hadoop/*.xml /user/test/input

在这里插入图片描述


执行hadoop job

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar grep /user/test/input output 'dfs[a-z.]+'

在这里插入图片描述


查看执行结果

bin/hdfs dfs -cat output/*

在这里插入图片描述

15.停止服务（该步骤只在master节点操作）

在hadoop-2.8.3目录下：
停止HDFS

sbin/stop-dfs.sh


停止YARN

sbin/stop-yarn.sh

在这里插入图片描述

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。

相关推荐

hadoop day2-搭建
hadoop搭建准备工作三台虚拟机：master、node1、node2检查时间是否同步：date检查java的jdk是否被安装好：java-version修改主机名三台分别执行vim/etc/hostname并将内容指定为对应的主机名 关闭防火墙：systemctlst...
Hadoop 二十三
文件的更名和移动:    获取文件详细信息       遇到的问题：不能直接在web上上传文件。   权限问题：修改后即可正常创建  参考：https://blog.csdn.net/weixin_44575660/article/details/118687993
大数据Hadoop之——HDFS小文件问题与处理实战操作
目录一、背景1）小文件是如何产生的？2）文件块大小设置3）HDFS分块目的二、HDFS小文件问题处理方案1）HadoopArchive（HAR）2）Sequencefile3）CombineFileInputFormat4）开启JVM重用5）合并本地的小文件，上传到HDF...
大数据Hadoop之——Hadoop HDFS多目录磁盘扩展与数据平衡实战操作
目录一、概述二、HadoopDataNode多目录磁盘配置1）配置hdfs-site.xml2）配置详解1、dfs.datanode.data.dir2、dfs.datanode.fsdataset.volume.choosing.policy3、dfs.datanode.available-space-volume-choosing-polic...
平台搭建伪分布式
平台搭建（伪分布式）伪分布式搭建在VM中搭建std-master修改配置文件centos7-cl1.vmdkstd-master.vmx-将配置文件中vm的版本号改成自己电脑对应的vm版本修改客户端的操作系统为centos764位打开虚拟机修改虚拟机网络cd...
Harley浅谈HadoopHDFS
 一、HDFS概述 1.1、HDFS产出背景及定义 1.1.1、HDFS产生背景   随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管...
Hadoop 十二
配置workers进入hadoop/etc/hadoop  编辑workers文件  然后分发给另外两个服务器     准备启动集群第一次需要初始化.  初始化完成后增加了data文件，  进入上面那个路径，就能看到当前服务器的版本号 ...
第六周总结8.13
这周我对ssm框架进行了更深一步的开发，加入了多用户，并对除登录外的请求进行了拦截，这样用户在未登录的时候是访问不到资源的。并且对hadoop进行了初步的学习，包括虚拟机的安装等等。下周会对hadoop进行更深一步的...
安装Hadoop2.10.1
前言通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop所有文件同步到其他Hadoop节点。一、集群规划#主机名‘master/hadoop1’‘slave01/hadoop2’‘slave02/hadoop3’#启动节点NamenodeNodemanagerNod...
集群崩溃处理
1.先杀死进程（先进入到hadoop版本文件里，我的是/opt/module/hadoop-3.1.3/）sbin/stop-dfs.sh2.删除每个集群上的data以及logsrm-rfdata/logs/3.格式化hdfsnamenode-format4.再启动sbin/sart-dfs.sh
    pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native