Hadoop 大数据平台本地虚拟机实验

首先下载好虚拟机,并安装base server版本

我用的是centos 6.8的服务器安装版本

打开虚拟网卡编辑器配置好NAT网卡的网络

配置三台虚拟机eth0网卡

编辑命令 

vi /etc/sysconfig/network-scripts/ifcfg-eth0

 查看命令

cat /etc/sysconfig/network-scripts/ifcfg-eth0

编辑网卡

node01@H_404_30@

DEVICE=eth0
HWADDR=00:0C:29:05:50:D1
TYPE=Ethernet
UUID=8270ad9a-7cdb-43e9-8202-6b5213d60a1c
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
IPADDR=192.168.1.101
NETMASK=255.255.255.0
GATWAY=192.168.1.1
DNS1=192.168.1.2

node02@H_404_30@

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
IPADDR=192.168.1.102
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=192.168.1.2

node03@H_404_30@

DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
IPADDR=192.168.1.103
NETMASK=255.255.255.0
GATEWAY=192.168.1.1

配置域名解析

编辑命令

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.102 node02
192.168.1.103 node03

 其它两台主机配置类似

 

确认是否互相可以联通

 

 

SSH免密钥登录

执行命令生成公钥和私钥@H_404_30@

ssh-keygen -t rsa

  

执行ssh-copy-id -i 将公钥文件传输给远程的主机，输入远程主机对应的密码。@H_404_30@

ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]

执行登录远程主机 @H_404_30@

ssh [email protected]

配置成功如下所示 

 

 配置安装JDK

下载JDK1.8 可能需要账号登录@H_404_30@

感谢:https://blog.csdn.net/WNsshssm/article/details/84315519 提供分享

账号：[email protected] 
密码：Oracle123

 

安装服务器上传工具,使用WinSCP@H_404_30@

之前不小心配错了,没有配置好网卡,只能主机和虚拟机之间相互访问,不能链接外网,就不再回去更改了,可以使用WinScp

上传到root/software@H_404_30@

解压@H_404_30@

 tar -zxvf jdk-8u271-linux-aarch64.tar.gz 

配置jdk环境变量@H_404_30@

vim /etc/profile

追加如下内容

export JAVA_HOME=/root/jdk1.8.0_251 #jdk安装目录
 
export JRE_HOME=${JAVA_HOME}/jre
 
export CLAsspATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLAsspATH
 
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
 
export PATH=$PATH:${JAVA_PATH}

让配置文件立即生效

source /etc/profile

测试

javac

我发现系统自带的有!!! 不知道可不可以做实验用来,先不管,到时候不可以在卸载了重装这一个

 搭建Hadoop大数据平台

下载hadoop,选择cdh版本的 下载地址@H_404_30@

配置配置hadoop-env.sh (此文件位于${HADOOP_HOME}/etc/hadoop/目录下)@H_404_30@

在此文件中只配置JDK路径即可

/root/jdk1.8.0_251

 

 配置core-site.xml@H_404_30@

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.101:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/services/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
</property>
<!-- 缓冲区大小，实际工作中根据服务器性能动态调整 -->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
</configuration>

配置hdfs-site.xml@H_404_30@

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:50090</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>node01:50070</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///services/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
</property>
<!-- 定义datanode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割
-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///services/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
</property>
<property>
<name>dfs.namenode.edits.dir</name>
<value>file:///services/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file:///services/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
</property>
<property>
<name>dfs.namenode.checkpoint.edits.dir</name>
<value>file:///services/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
</configuration>

配置mapred-site.xml@H_404_30@

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>node01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node01:19888</value>
</property>
</configuration>

配置yarn-site.xml@H_404_30@

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>

配置slaves文件@H_404_30@

node01
node02
node03

启动namenode@H_404_30@

 

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。