04 Hadoop思想与原理

一.简要描述Hadoop起源与发展阶段 

①Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

②2003年、2004年谷歌发表的三篇论文为该问题提供了可行的解决方案。
分布式文件系统（GFS），可用于处理海量网页的存储
分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。
分布式的结构化数据存储系统Bigtable，用来处理海量结构化数据。

③Doug Cutting基于这三篇论文完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目

二.Hadoop1.0、2.0和3.0的区别

0.x Hadoop当中最早的一个开源版本，在此基础上演变而来的1.x以及2.x的版本
1.x 版本系列：Hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等
2.x 版本系列：架构产生重大变化，引入了yarn平台等许多新特性

 

三、Hadoop不同公司的发行版本

Hadoop 主要有三大发行版本: Apache、Cloudera、Hortonwork。Apache版本最原始（最基础）的版本，对于初学者最友好。

Cloudera在大型互联网企业中用的较多，如果要紧跟开源则适合Hortonworks。