Hadoop3.x版本 单机模式安装

安装环境

• VMware 虚拟机 15.5
• 系统镜像 centos7.8
• hadoop 3.2.2

安装步骤

1、关闭防火墙
2、安装JDK1.8
3、设置环境变量

vi /ect/profile

# JDK1.8 自己的目录
JAVA_HOME=/opt/jdk1.8.0_191
CLAsspATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLAsspATH

export HADOOP_HOME=/opt/hadoop3/hadoop-3.2.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

4、修改hadoop配置文件
修改hadoop-env.sh

修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9001</value>
        <description>hdfs内部通讯访问地址</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
        <description>hadoop数据存放</description>
    </property>
</configuration>

修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

修改start-dfs.sh和stop-dfs.sh文件，添加下列参数

#这里是添加用户 
HDFS_DatanODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh和stop-yarn.sh文件，添加下列参数

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

5、设置SSH免密访问本地

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

6、启动hadoop
1、格式化hadoop文件系统

hdfs namenode -format

2、进入sbin目录

./start-all.sh

访问虚拟机9870端口

7、文件上传下载

1、创建目录

2、上传文件

3、修改windows hosts文件

4、上传完成

5、测试下载