让你一次成功搭建单机hadoop

一、创建一个纯净的虚拟机

使用vmware创建虚拟机
第一步：点击创建，然后点击典型，进行向导。

在这里插入图片描述

第二步：完成向导后，右键点击设置，对各个硬件进行设置。
内存：》4096MB
CD/DVD(IDE):使用自己的ISO映像文件
在网络适配器中选择仅主机模式并且点击高级生成 MAC地址

在这里插入图片描述

添加网络适配器点击选择NAT网络重复上述步骤点击生成MAC地址。
点击启动开启虚拟机。

在这里插入图片描述

出现这个页面后，选择English进入下一步

在这里插入图片描述

时区选择上海，NETWORK&HOSTNAME将两个网络全部打开，INSTALLATION直接点击左上角的Done。SOFTWARE SELECTION点击minimal install选择最小化安装，然后beginning

在这里插入图片描述

输入密码点击左上角done两次，这样只需要等待，一个虚拟机就算完成了，接下来进行hadoop大单机搭建，我们是用moba作为平台。

二、虚拟机一些环境改变

值得注意的是，虚拟机启动后我们要按“a”输入命令 vi /etc/sysconfig/network-scripts/ifcfg-ens33(最后这个ens33由你的虚拟机的NETWORK&HOSTNAME第一个网络所决定)
进入后将BOOTPROTO后面修改成static
最后的ONBOOT后面修改成yes
并且在下面一行添加IPADDR=192.168.80.104(这里要注意的是这个ip网络地址同你的创建的虚拟机的第一个网络ip地址相似，只需要最后面不一样就行！)
进行修改之后esc进行控制台输入如下：

重启网络，关闭防火墙

打开moba搭建单机hadoop

创建software并且将所需要到压缩包放入进去逐一解压

[root@promote /]#mkdir software
[root@promote /]# cd software/
[root@promote software]# ll
total 1132736
-rw-r--r--. 1 root root 433895552 Jun 29 22:03 hadoop-2.6.0-cdh5.14.2.tar.gz
-rw-r--r--. 1 root root   4454912 Jun 29 22:03 hadoop-native-64-2.6.0.tar
-rw-r--r--. 1 root root 267038262 Jun 29 22:04 hbase-1.2.0-cdh5.14.2.tar.gz
-rw-r--r--. 1 root root 128523051 Jun 29 22:04 hive-1.1.0-cdh5.14.2.tar.gz
-rw-r--r--. 1 root root 195094741 Jun 29 22:04 jdk-8u221-linux-x64.tar.gz
-rw-r--r--. 1 root root  40310724 Jun 29 22:04 MysqL-client-5.6.46-1.el7.x86_64                                        .rpm
-rw-r--r--. 1 root root  90592828 Jun 29 22:04 MysqL-server-5.6.46-1.el7.x86_64                                        .rpm

@H_502_70@
逐一解压到opt文件夹下：
[root@promote software]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt
root@promote software]# tar -zxv .........  如上
@H_502_70@
并且将这些繁冗的文件名改名：mv  旧文件名  / 新文件名

在这里我就取各文件的头名

接下来进行环境配置

输入命令 vi /etc/profile

shift+g在最后配置环境变量：

export JAVA_HOME=/opt/jdk8

export JRE_HOME=/opt/jdk8/jre

export CLAsspATH=.: $JAVA_HOME/lib/dt.jar:$ JAVAHOME/lib/dt.jar:JAVA_HOME/lib/tools.jar

export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin

export HADOOP_HOME=/opt/hadoop

export HBASE_HOME=/opt/hbase

export HIVE_HOME=/opt/hive

export HADOOP_MAPRED_HOME= $HADOOP_HOME export HADOOP_COMMON_HOME=$ HADOOPHOMEexportHADOOPCOMMONHOME=HADOOP_HOME

export HADOOP_HDFS_HOME= $HADOOP_HOME export YARN_HOME=$ HADOOPHOMEexportYARNHOME=HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR= $HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$ HADOOPHOME/lib/nativeexportHADOOPOPTS="−Djava.library.path=HADOOP_HOME/lib"

export PATH= $PATH:$ PATH:JAVA_HOME/bin: $JRE_HOME/bin:$ JREHOME/bin:HADOOP_HOME/sbin: $HADOOP_HOME/bin:$ HADOOPHOME/bin:HBASE_HOME/bin:$HIVE_HOME/bin

source  /etc/profile 执行语句使其生效

java -version、javac 查看是否已经成功配置

hadoop version

hbase version
切换到hadoop目录下：cd /opt/hadoop/etc/hadoop

输入命令：vi hadoop-env.sh

在 # The java implementation to use. 下面插入：

export JAVA_HOME=/opt/jdk8
保存退出。

输入命令：vi core-site.xml

在  之间输入：
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.17.**:9000</value>
  </property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
</property>
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
 <property>
    <name>hadoop.proxyuser.rooot.groups</name>
    <value>*</value>
  </property>


保存退出。
输入命令：vi hdfs-site.xml

在  之间输入：
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>hadoop1:50090</value>
</property>


在hadoop目录下将mapred-site.xml.template改名

命令为：mv mapred-site.xml.template  mapred-site.xml
输入命令：vi mapred-site.xml

在  之间输入：
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop1:10020</value>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop1:19888</value>
</property>


输入命令：vi yarn-site.xml

在后面插入：
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>


保存退出。配置完毕以后，有可能出现启动后不能登陆网页的现象于是我们删除tmp文件

cd /opt/hadoop

rm -rf tmp
以上步骤完成后，我们格式化HDFS：hadoop namenode -format(注意这里的hadoop就是你之前配置的变量名)

启动：start-all.sh

启动历史服务

mr-jobhistory-daemon.sh start historyserver

启动完成后，输入jps   可以查看启动历史

停止服务：stop-all.sh
三、免密登录
然后回到目录: cd ~

生成私钥: ssh-keygen -t rsa -P “” ,输入命令后直接回车

输入: cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys

验证免登录：ssh [email protected]（自己设置的ip地址）
最后再尝试启动一遍，这样的单机hadoop环境就搭建成功了。

                
                                 版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。

让你一次成功搭建单机hadoop

一、创建一个纯净的虚拟机

二、虚拟机一些环境改变

打开moba搭建单机hadoop

三、免密登录

相关推荐