Hadoop

Hadoop集群搭建

搭建集群首先要设置网络我使用的是vmware虚拟机

在这里插入图片描述

在编辑的虚拟网络编辑器中设置进入虚拟网络编辑器

在这里插入图片描述

更改配置

在这里插入图片描述

一般网络配置要更改三个地方 vmware 你创建的虚拟机配置还有windows系统

现在我们将vmware配置好现在去更改Windows的
打开Windows网络配置选择高级网络配置中的更改适配器选项

在这里插入图片描述

点开以太网4 发现是vmnet1 而我们要更改的是vmnet8 前往别改错了
打开以太网5的属性

在这里插入图片描述

点击进入

在这里插入图片描述

打钩后确认更改那么 windows就修改完毕了
先将创建的虚拟机改名
第一台机器叫hadoop100
一共有三台每台机器的名字不能相同
接下来修改创建的虚拟机配置

在这里插入图片描述

进入修改

在这里将添加主机的地址和映射

在这里插入图片描述

因为待会要用到所以直接多添加几个映射
然后下载xshell 和xftp 方便使用虚拟机和从Windows中传输文件给虚拟机
然后去官网下载jdk的安装包

在这里插入图片描述

要下载适配的是压缩存档的就是后面有tar.gz的不要下载错误了 Hadoop的下载也是一样的道理将这两个安装包放到自己虚拟机中就是连接xshell和虚拟机然后用xftp传输所以一个在在虚拟机中创建一个文件夹专门存放着安装包顺便也创个文件夹用于存放解压后的文件我一般将 /opt 作为我的主要路径在这个路径下我创建了 software和module 分别用于存放按转包和解压后的文件
如果遇到使用xftp中传输失败室友八九是路径的权限不够用chmod 的命令更改路径权限即可

当然解压好了hadoop和jdk后还要进行路径的配置环境配置你可以在`/.bashrc 和 profile.d中进行设置添加路径就是

在这里插入图片描述

然后你就可以把这台虚拟机进行克隆克隆两台那么你就有三台了然后将克隆的这两台分别修改hostname 为 hadoop101和hadoop102 在去修改网络的IP地址

分别将IP地址设置为192.168.10.101和192.168.10.102其他的设置不用变
然后设置三台机器的ssh免密安全的登录
Ssh设置好后我们就可以开始配置集群了
这是我们的规划

在这里插入图片描述

在hadoop100上放datanode 和namenode 在hadoop101中就存放datanode Hadoop103中设置了datanode和secondarynamenode
具体在那些文件配置呢
core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml
这几个文件在你的解压后的hadoop中的etc中的hadoop中

在这里插入图片描述