微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

HDFS完全分布式搭建

1. 启动zookeeper

image-20211103163124839

没有问题

2. 上传hadoop安装包

image-20211103163605823

解压,如图。

3. 节点功能分配

NameNode1 NameNode2 Datanode Zookeeper ZKFC JournalNode
Node1
Node2
Node3

4. 准备安装环境

```shell
[root@BaseNode opt]# ls
apache-tomcat-18080  hadoop-3.1.2  zook
apache-tomcat-8080   Nginx         zook
[root@BaseNode opt]# cd hadoop-3.1.2/etc/hadoop/
[root@BaseNode hadoop]# 

5. 修改集群环境

[root@BaseNode hadoop]# vim hadoop-env.sh

由于通过SSH远程启动进程的时候认不会加载/etc/profile设置,JAVA_HOME变量就加载不到,需要手动指定。在最后一行追加:

export JAVA_HOME=/usr/java/jdk1.8.0_131
export HDFS_NAMENODE_USER=root
export HDFS_DatanODE_USER=root
export export HDFS_SECONDARYNAMENODE_USER=root

6. 修改配置文件

  1. vim /opt/hadoop-3.1.2/etc/hadoop/core-site.xml

追加到configuration标签中间

<configuration>
  <!-- 指定访问HDFS的时候路径的认前缀  /  hdfs://node1:9000/ -->
  <property>
<name>fs.defaultFS</name>
<value>hdfs://zkbase:9000</value>
  </property>
  <!-- 指定hadoop的临时目录位置,它会给namenode、secondarynamenode以及datanode的存储目录指定前缀 -->
  <property>
<name>hadoop.tmp.dir</name>
<value>/var/bdp/hadoop/full</value>
  </property>
</configuration>
  1. [root@BaseNode hadoop]# vim hdfs-site.xml
<configuration>

<!--声明日志node-->
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>zknode1:50090</value>
</property>
<property>
        <name>dfs.namenode.secondary.https-address</name>
        <value>zknode1:50091</value>
</property>
<property>
        <name>dfs.namenode.secondary.https-address</name>
        <value>zknode1:50093</value>
</property>

<!--声明副本数量-->
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>

  1. [root@BaseNode hadoop]# vim workers
BaseNode
zknode1
zknode2
zkNode3
~         

7. SCP Hadoop到其他三台主机

image-20211104142911930

8. 修改四台主机的/etc/profile文件

export HADOOP_HOME=/opt//hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin/$PATH

source /etc/profile

9. 格式化namenode

在basenode上面,hdfs namenode -format

image-20211104144848667

10. 启动下,start-dfs.sh,然后访问jps

啊偶,失败了

image-20211104145137101

权限不足的原因,来,我们着手解决

设置免密

ssh-copy-id -i ~/.ssh/id_rsa.pub <ip>

image-20211104152929992

启动成功

image-20211104154451060

image-20211104155044650

大功告成!

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐