WordCount的MapReduce程序

实验二：WordCount的MapReduce程序
操作实践

一、 IDEA编写WordCount程序
（1）环境pom.xml文件的配置

（2）新建编写Map处理逻辑

（3）编写Reduce处理逻辑

（4）编写main方法

（5）编译打包以及运行程序
运行程序时采取以下步骤：

1. 首先需要将hadoop安装目录路径下的core-site.xml和hdfs-site.xml两个文件复制项目的resource文件夹下
2. 然后在项目的configuration的“program arguments”选项中填写输入文件和输出文件在HDFS中的目录或者文件路径
3. Run运行程序
   

   

（6）程序运行结果
在伪分布式环境下，因为只有一个reduce任务，所以只会产生一个文件名为“part-r-00000”的文件（在/output路径下）

1. 在Web网页端查看
   

   

2. 在shell命令下查看
   hadoop fs –ls /output

出现了上述文件，由于输入是HDFS下/dataset/test下文件，即example.txt文件
hadoop fs -text /dataset/test/example.txt

我们此时打开我们运行的结果即计算单词出现次数
hadoop fs -text /output/part-r-00000

这里只截取部分输出结果
这里的输出结果表明我们的WordCount程序正常运行并且给出了相应的单词的出现次数
出现以上的输出结果说明程序运行成功！