MapReduce

MapReduce

• WordCount案例
• • 1. 需求
  • 2. 环境准备

边学边写

---

WordCount案例

1. 需求

  在给定的文本文件中统计输出每一个单词出现的总次数

根据要求，分别编写 Mapper、Ruducer、Driver

2. 环境准备

用IDEA+jdk17+自带的maven

1. 创建工程
   打开IDEA，新建工程，选Maven
   

   
   

   
   

   
   

   
   

   这里系统会自动下载Maven 的相关文件，在右下角，等他下载完

2. 导入依赖
   在iml文件中贴入以下代码
   

   

 <dependencies>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>RELEASE</version>
    </dependency>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.7.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.2</version>
    </dependency>
 </dependencies>

3. 配置log4
   在main 目录下，创建 resources
   

   

   在rescources 目录下，创建 file，名字是 log4j.properties
   贴入以下代码

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d	%p	[%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d       %p      [%c] - %m%n

4. 在main/java 路径下，创建包 com.mapreduce.wordcount