Apache Hadoop项目是一个提供高可靠，可扩展（横向）的分布式计算的开源软件平台。允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。Hadoop本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用程序层的故障，从而在计算机集群之上提供高可用性服务，每个计算机都可能容易出现故障。
产生背景
1.Hadoop最早起源于Nutch。Nutch的目的是构建一个大型的全网搜索引擎(网页抓取、索引、查询等功能)，但是随着抓取网页数量的增加，遇到了严重的可扩展性问题(不能解决数十亿网页的存储和索引问题)
2.2003-2004年谷歌发表的三篇论文提供了可行的解决方案
GFS(Google FileSystem)分布式文件系统，解决海量数据的存储
MapReduce分布式计算框架，解决海量数据的计算问题
bigtable分布式数据库，解决海量数据的快速查找
3.Doug Cutting将Google 的三篇文章用Java重新实现。
GFS——HDFS
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
