hadoop 伪分布式安装流程

1.首先创建一台虚拟机内存设置最好要大一些要不玩不起来我的设置为100g 然后内存线程什么的根据自己电脑配置来

2.然后配置文件安装jdk什么的前边有已经写好的shell脚本可以直接用或者自己配置也可以

3.准备工作完成后下载hadoop安装包

4.我的是已经下载好了先放在/opt 目录下

5.然后解压文件

tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz 解压到什么位置自己选择我的是解压到已经创建好的

/opt/soft/hadoop260 文件夹下

6.解压完成后配置环境

vi /etc/profile

#hadoop environment
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

然后把配置文件粘贴进去

然后 source /etc/proflie 使文件生效

7.打开 hadoop 解压好的文件包进入etc目录下的hadoop文件

cd etc/hadoop/

编辑 hadoop-env.sh 目录添加你的jdk文件目录我的jdk文件解压好放在soft目录下

8. 配置 vi core-site.xml 添加以下配置文件写在configuration 中要不然不会生效

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.80.181:9000</value>
        </property>
         <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/soft/hadoop260/tmp</value>
        </property>
         <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
         <property>
                <name>hadoop.proxyuser.root.users</name>
                <value>*</value>
        </property>

9. vi hdfs-site.xml

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

10.cp mapred-site.xml.template mapred-site.xml 复制文件然后修改

11. vi mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

12.vi yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.localhost</name>
                <value>localhost</value>
        </property>
         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

13.hadoop namenode -format 格式化文件

14.start-all.sh 启动文件期间会不断让你输入密码这个密码是虚拟机密码因为没有配置 ssh 这个我后边会有配置

启动文件后一直到结束

15 输入 jps 查看任务