MapReduce介绍

这里简单介绍下MapReduce

1、什么是MapReduce

1、源自Google的MapReduce论文

2、发表于2004年12月，Hadoop MapReduce是Google MapReduce的克隆版

 

2、MapReduce特点

易于编程

良好的扩展性

高容错性

海量数据的离线处理

 

3、MapReduce不擅长的场景

实时计算

流式计算

DAG计算(多个应用程序存在依赖关系，A作业执行完后执行B作业，B作业执行完后执行C作业）

 

4、MapReduce编程模型

intput： 输入源

map&reduce： 实现map和reduce方法

output：输出

详细可参考： https://hadoop.apache.org/docs/r3.2.2/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

 

备注： MapReduce在工作中有使用，但是使用的并不多了。现在Spark特别火，并且性能比MapReduce强很多。