hadoop3.3.1简单的两节点集群

系统

CentOS7.9

节点

10.1.1.10  namenode
10.1.1.11  datanode

设置主机名

hostnamectl set-hostname namenode
hostnamectl set-hostname datanode

cat>/etc/hosts<<EOF
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

10.1.1.10  namenode
10.1.1.11  datanode
EOF

###################### namenode ######################
namenode启动了namenode和datanode两个角色

设置ssh免密登录

ssh-keygen -t rsa
ssh-copy-id -i /root/.ssh/id_rsa.pub namenode 
ssh-copy-id -i /root/.ssh/id_rsa.pub datanode 

安装jdk8

rpm -ivh jdk-8u201-linux-x64.rpm
java -version

下载hadoop

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
scp /root/hadoop-3.3.1.tar.gz datanode:/root/
tar -zxf hadoop-3.3.1.tar.gz 

设置环境变量

vim /etc/profile.d/hdp_env.sh
export HADOOP_HOME=/root/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLAsspATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

source /etc/profile
echo $PATH

创建文件夹

mkdir -p /hdpdata/data
mkdir -p /hdpdata/name

编辑配置文件，加入以下配置

vim /root/hadoop-3.3.1/etc/hadoop/hdfs-site.xml
<configuration>
<!-- 集群的namenode的位置  datanode能通过这个地址注册-->
<property>
<name>dfs.namenode.rpc-address</name>
<value>10.1.1.10:9000</value>
</property>

<!-- namenode存储元数据的位置 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/hdpdata/name/</value>
</property>

<!-- datanode存储数据的位置 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/hdpdata/data/</value>
</property>


<!--  WEB UI  -->
  <property>
     <name>dfs.namenode.http-address</name>
      <value>10.1.1.10:6002</value>
  </property>


</configuration>

初始化namenode

hadoop  namenode  -format

查看文件

ls /hdpdata/name/current/

启动namenode

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

###################### datanode ######################
datanode启动了datanode

安装jdk8

rpm -ivh jdk-8u201-linux-x64.rpm
java -version

下载或从namenode传输hadoop

# wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -zxf hadoop-3.3.1.tar.gz 

设置环境变量

vim /etc/profile.d/hdp_env.sh
export HADOOP_HOME=/root/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLAsspATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

source /etc/profile
echo $PATH

创建文件夹

mkdir -p /hdpdata/data

编辑配置文件，加入以下配置

vim /root/hadoop-3.3.1/etc/hadoop/hdfs-site.xml
<configuration>
<!-- 集群的namenode的位置  datanode能通过这个地址注册-->
<property>
<name>dfs.namenode.rpc-address</name>
<value>10.1.1.10:9000</value>
</property>

<!-- namenode存储元数据的位置 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/hdpdata/name/</value>
</property>

<!-- datanode存储数据的位置 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/hdpdata/data/</value>
</property>


<!--  WEB UI  -->
  <property>
     <name>dfs.namenode.http-address</name>
      <value>10.1.1.10:6002</value>
  </property>


</configuration>

初始化datanode

hadoop  datanode  -format

查看文件

ls /hdpdata/name/current/

启动datanode

hadoop-daemon.sh start datanode

打开页面查看hadoop集群

http://10.1.1.10:6002