Hadoop 群起集群并进行基本测试

文章目录

• 一、群起集群
• • 1、配置workers
  • 2、启动集群
  • • 1）初始化
    • 2）启动HDFS
    • 3）启动YARN
    • 4）在web端查看HDFS的NameNode http://hadoop102:9870
    • 5）在web端查看YARN的ResourceManagerhttp://hadoop103:8088
• 二、基本测试
• • 1、上传文件到集群
  • 2、文件的存储位置
  • 3、下载
  • 4、执行wordcount程序

---

一、群起集群

1、配置workers

在hadoop102中编辑文件

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中写入

hadoop102
hadoop103
hadoop104

需要注意的是：该文件每行后不能有空格，最后不能多加一个空行，可以说是相当严格了！

最后使用xsync分发脚本

xsync /opt/module/hadoop-3.1.3/etc/

2、启动集群

1）初始化

如果是第一次启动，需要在hadoop102节点格式化NameNode，使用下面的命令

hdfs namenode -format

在使用格式化命令之后，进入hadoop安装目录，可以看到多出了data和logs文件：

2）启动HDFS

在hadoop102启动HDFS：

[wzq@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[wzq@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

如下图所示，已经成功在hadoop102启动了namenode，在hadoop103启动了secondary namenode

3）启动YARN

然后在hadoop103上启动YARN

[wzq@hadoop103 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[wzq@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

如下图所示，启动成功！

4）在web端查看HDFS的NameNode http://hadoop102:9870

配置好之后，可以打开浏览器输入：

http://hadoop102:9870

这个连接可以查看HDFS的NameNode：

也可以查看系统中有什么文件：

5）在web端查看YARN的ResourceManagerhttp://hadoop103:8088

在浏览器输入：

http://hadoop103:8088

可以查看某一个任务在执行时的状态

二、基本测试

1、上传文件到集群

创建文件夹：

hadoop fs -mkdir /input

上传小文件到刚刚创建的文件夹input中：

hadoop fs -put /home/wzq/demo/word.txt /input

2、文件的存储位置

[wzq@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-
192.168.10.102-1610603650062/current/finalized/subdir0/subdir0

3、下载

使用-get可以下载服务器上的文件

hadoop fs -get /input ./

执行效果：

4、执行wordcount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

执行之后，终端显示界面：

yarn显示界面中可以看到状态是成功的：

观察文件：

发现多了两个文件一个output和一个tmp，最终结果存放在了output中，打开看一下：

打开之后，查看文件发现wordcount运行成功！