Hadoop 学习笔记(1)

搭建 Hadoop 分布式集群

云平台

1、了解云平台

大数据平台软件需要部署在云平台提供的服务器主机上，云计算是大数据的坚实基础。

2、安装 VMWare 软件

在电脑中安装 VMWare，进而虚拟化出 3 台独立的物理主机，这样可以搭建 Hadoop 分布式集群环境。

一台或两台服务器无法组成集群，集群至少需要三台服务器。

安装 CentOS 6

大数据处理的数据一般来自于企业内部的服务器，而其服务器所用的操作系统大多是 Linux 系统，所以建议选择 Linux 操作系统，将它作为每个虚拟机的操作系统，这里选择 CentOS。

安装 CentOS6

(1) 打开 VMWare，单击【文件】-【新建虚拟机】，可以通过 VMWare 新建虚拟机

(2) 选择【典型】，点击下一步

(3) 选择【安装程序光盘映像文件】，选择指定的 CentOS 系统的 .iso 文件，点击【下一步】

(4) 填写一些信息，单击【下一步】

这里的全名指的是 Linux 操作系统的全称，可以随便取。用户名，指的是在服务器安装 Linux 系统时需要指定一个默认的用户，随后通过这个默认的用户名才能登录操作系统。

(5) 填写虚拟机名称，选择安装位置，单击【下一步】

这里要为即将创建的虚拟机起名，这个名字很重要，我们将其起名为 HadoopMaster。

Hadoop 分布式集群架构是主从架构，所以有主节点和从节点。为了从名字上区分主从，更好地使用集群，主节点一般叫做 HadoopMaster，从节点一般叫做 HadoopSlave 和 HadoopSlave1.

(6) 最大磁盘大小最好适当调大为 30 及以上，单击【下一步】

(7) 使用默认值，单击【完成】

(8) 等待安装完成，系统会自动重启

(10) 输入密码，登录系统

至此，CentOS 7 系统安装完毕。

克隆 HadoopSlave 和 HadoopSlave1

1、关闭 HadoopMaster 服务器，在该节点单击鼠标右键，选择【管理】-【克隆】选项

2、保持界面中的默认选项，单击【下一步】

3、选择【创建完整克隆】，单击【下一步】

4、将虚拟机重命名为 HadoopSlave，并选一个存储位置，单击【完成】

5、等待系统完成克隆

6、按照刚才克隆 HadoopSlave 的方式，再克隆一台 HadoopSlave1 的服务器。