1.本质上相同，都是把Map端数据分类处理后交由Reduce的过程
2.数据流有所区别，MR按map, spill, merge, shuffle, sort, reduce等各阶段逐一实现。Spark基于DAG数据流，可实现更复杂数据流操作（根据宽/窄依赖实现）
3.实现功能上有所区别，MR在map中做了排序操作，而Spark假定大多数应用场景Shuffle数据的排序操作不是必须的，而是采用Aggregator机制（Hashmap每个元素<K,V>形式）实现。（下面有较详细说明）
4.Shuffle是连接Map和Reduce之间的桥梁，Map的输出结果需要经过Shuffle过程之后，也就是经过数据分类以后再交给Reduce进行处理。因此，Shuffle的性能高低直接影响了整个程序的性能和吞吐量。由此可知，Shuffle是指对Map输出结果进行分区、排序、合并等处理并交给Reduce的过程。
5.Map端Shuffle过程，就是对Map输出结果写入缓存、分区、排序、合并再写入磁盘。
Reduce端Shuffle过程，就是从不同Map机器取回输出进行归并后交给Reduce进行处理。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
