AI导航网
微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦！

Hadoop分布式安装详细步骤

分类：Hadoop作者：编程之家原文地址

文章目录

一、先决条件

1. 支持平台

GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。
Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试，所以还不作为一个生产平台被支持。

2. 所需软件

Linux所需软件包括:

JavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。
ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。

3.安装所需环境软件

如果你的集群尚未安装所需软件，你得首先安装它们。
Linux 安装jdk

二、虚拟机相关配置

1.配置虚拟机启用网卡, 并设置固定IP地址

参考这篇文章

2. 关闭防火墙

# 查看防火墙状态
firewall-cmd --state

# 停止防火墙
systemctl stop firewalld.service

# 禁止firewall开机启动
systemctl disable firewalld.service

3. 时间同步

  1. 安装 ntp命令: yum install ntp -y
  2. 将ntp设置为缺省启动：systemctl enable ntpd
  3. 启动ntp服务：service ntpd restart
  4. 将系统时区改为上海时间（即CST时区）：ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
  5. 同步时间 ntpdate -u ntp1.aliyun.com
  6. 输入date命令查看时间是否正确

4. 配置 hosts文件

  1. centos 7中的 /etc/hosts
192.168.42.31 node1
192.168.42.32 node2
192.168.42.33 node3
192.168.42.34 node4
  1. windows 中的 C:\Windows\System32\drivers\etc\hosts
192.168.42.31 node1
192.168.42.32 node2
192.168.42.33 node3
192.168.42.34 node4

5. 克隆虚拟机镜像（需要几个克隆几个）

如图所示

在这里插入图片描述

  1. 配置虚拟机启用网卡, 并设置固定IP地址(有几台重复几台 注意固定IP 不要相同)
vim /etc/sysconfig/network-scripts/ifcfg-ens32
# 没有vim可以使用vi 或者安装vim
yum -y install vim

BOOTPROTO=static        #开机协议，有dhcp及static；
ONBOOT=yes              #设置为开机启动；
DNS1=114.114.114.114    #这个是国内的DNS地址，是固定的；
IPADDR=192.168.42.100      #你想要设置的固定IP，理论上192.168.42.2-255之间都可以，请自行验证；
NETMASK=255.255.255.0   #子网掩码，不需要修改；
GATEWAY=192.168.42.2     #网关，这里是你在“2.配置虚拟机的NAT模式具体地址参数”中的（2）选择VMnet8--取消勾选使用本地DHCP--设置子网IP--网关IP设置。

在这里插入图片描述

  1. 修改主机名 vi /etc/hostname

  2. reboot 重启系统

  3. 检验配置是否成功
    （1）查看修改后的固定IP为192.168.42.100，配置正确；

    在这里插入图片描述

    （2）测试虚拟机中的CentOS 7系统是否能连外网，有数据返回，说明可以连接外网；
    ping www.baidu.com

    在这里插入图片描述

    （3）测试本机是否能ping通虚拟机的固定IP，有数据返回，说明可以使用终端工具正常连接；
    打开命令操作界面：
    ping 192.168.42.100

    在这里插入图片描述

6. 免密钥设置

#1 生成自己的密钥:
ssh-keygen -t rsa -P '' -f    ~/.ssh/id_rsa
#2 将自己的密钥加入到自己的受信列表:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# 3为受信列表赋权:
chmod 0600 ~/.ssh/authorized_keys
# 4将本机的公钥发给其他用户:
scp ~/.ssh/id_rsa.pub     node2:/tmp/ #这里的node2是主机映射域名 没有设置host 请改为ip

在这里插入图片描述


在这里插入图片描述


验证是否可以免密登录

在这里插入图片描述


最起码可以做到主机可以免密登录其他机器 这里node1为主机
小结: 经过以上步骤， node1可以免密登录node2,node3, node4了.

三、hadoop安装及配置

1. 上传hadoop2.7.1到node1的/king下解压(安装路径可以按自己的来)

tar -xzvf hadoop-2.7.1
mv hadoop-2.7.1 hadoop

在这里插入图片描述

2. 将hadoop位置加入环境变量

vim /etc/profile

HADOOP_HOME=/king/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH HADOOP_HOME

source /etc/profile

在这里插入图片描述


验证是否成功

hdfs

在这里插入图片描述

3. hadoop/etc/hadoop/hadoop-env.sh中的 JAVA_HOME

vim /king/hadoop/etc/hadoop/hadoop-env.sh

在这里插入图片描述

4. hadoop/etc/hadoop/core-site.xml

注意这个 hadoopdata目录不存在，由hadoop生成

vim /king/hadoop/etc/hadoop/core-site.xml
<property> 
<name>fs.defaultFS</name> 
<value>hdfs://node1:9000/</value> 
 </property> 
<property> 
<name>hadoop.tmp.dir</name>
<value>/opt/hadoopdata</value> 
</property>

在这里插入图片描述

5. hadoop/etc/hadoop/hdfs-site.xml

vim /king/hadoop/etc/hadoop/hdfs-site.xml

 <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
 <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node2:50090</value>
   </property>

在这里插入图片描述

6. hadoop/etc/hadoop/slaves 中 指定 三台 DN

vim /king/hadoop/etc/hadoop/slaves

node2
node3
node4

在这里插入图片描述

7. 手动创建masters文件, 指定 SNN

vim /king/hadoop/etc/hadoop/masters

node2

在这里插入图片描述

8. 同步配置文件到其它节点

scp -r hadoop/    node2:/king/
scp -r hadoop/    node3:/king/
scp -r hadoop/    node4:/king/

9. 格式化 NN hdfs namenode -format

在这里插入图片描述

10启动dfs服务

 start-dfs.sh

在这里插入图片描述

11. 测试

  1. namenode查看 http://node1:50070/

    在这里插入图片描述


    在这里插入图片描述

  2. SNN查看 http://node2:50090/

    在这里插入图片描述

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。

相关推荐

hadoop day2-搭建
hadoop搭建准备工作三台虚拟机：master、node1、node2检查时间是否同步：date检查java的jdk是否被安装好：java-version修改主机名三台分别执行vim/etc/hostname并将内容指定为对应的主机名 关闭防火墙：systemctlst...
Hadoop 二十三
文件的更名和移动:    获取文件详细信息       遇到的问题：不能直接在web上上传文件。   权限问题：修改后即可正常创建  参考：https://blog.csdn.net/weixin_44575660/article/details/118687993
大数据Hadoop之——HDFS小文件问题与处理实战操作
目录一、背景1）小文件是如何产生的？2）文件块大小设置3）HDFS分块目的二、HDFS小文件问题处理方案1）HadoopArchive（HAR）2）Sequencefile3）CombineFileInputFormat4）开启JVM重用5）合并本地的小文件，上传到HDF...
大数据Hadoop之——Hadoop HDFS多目录磁盘扩展与数据平衡实战操作
目录一、概述二、HadoopDataNode多目录磁盘配置1）配置hdfs-site.xml2）配置详解1、dfs.datanode.data.dir2、dfs.datanode.fsdataset.volume.choosing.policy3、dfs.datanode.available-space-volume-choosing-polic...
平台搭建伪分布式
平台搭建（伪分布式）伪分布式搭建在VM中搭建std-master修改配置文件centos7-cl1.vmdkstd-master.vmx-将配置文件中vm的版本号改成自己电脑对应的vm版本修改客户端的操作系统为centos764位打开虚拟机修改虚拟机网络cd...
Harley浅谈HadoopHDFS
 一、HDFS概述 1.1、HDFS产出背景及定义 1.1.1、HDFS产生背景   随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管...
Hadoop 十二
配置workers进入hadoop/etc/hadoop  编辑workers文件  然后分发给另外两个服务器     准备启动集群第一次需要初始化.  初始化完成后增加了data文件，  进入上面那个路径，就能看到当前服务器的版本号 ...
第六周总结8.13
这周我对ssm框架进行了更深一步的开发，加入了多用户，并对除登录外的请求进行了拦截，这样用户在未登录的时候是访问不到资源的。并且对hadoop进行了初步的学习，包括虚拟机的安装等等。下周会对hadoop进行更深一步的...
安装Hadoop2.10.1
前言通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop所有文件同步到其他Hadoop节点。一、集群规划#主机名‘master/hadoop1’‘slave01/hadoop2’‘slave02/hadoop3’#启动节点NamenodeNodemanagerNod...
集群崩溃处理
1.先杀死进程（先进入到hadoop版本文件里，我的是/opt/module/hadoop-3.1.3/）sbin/stop-dfs.sh2.删除每个集群上的data以及logsrm-rfdata/logs/3.格式化hdfsnamenode-format4.再启动sbin/sart-dfs.sh
    pythonJavaScriptjavaHTMLreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-bootreact-native