Hadoop框架
1.X MapReduce、HDFS、Common
2.X MapReduce、Yarn、HDFS、Common
MapReduce: 1.X 计算+资源调度 2.X 计算
Yarn：资源调度
HDFS：文件存储
Common：辅助工具
Hadoop1.X 存在的问题:
<1>NameNode不能高可用,存在单节点故障问题。
<2>MR框架将资源和任务调度的耦合导致效率低。
<3>MR框架基于磁盘计算导致性能低。
Hadoop2.X 发行于2013年10月,解决Hadoop1.X中的问题
<1>Namenode高可用,2.X只能起两台,3.X才能起3台。
<2>增加了Yarn资源调度,将资源调度与任务调度解耦。
<3>计算框架可插拔。
大数据特点：大量、高速、多样、低价值密度
大数据：存储、分析+计算、传输
Hadoop优势：高可靠、高扩展、高效、高容错
数据量级别：TB、PB、EB
Hadoop三大发行版本：
1.Apache
2.Cloudera（CDH）
3.Hortonworks。
Hadoop运行模式
1.本地模式：只依赖与hadoop的一些jar包,跑简单的案例和程序,进行测试,无yarn等。
2.伪分布式模式：仅一台服务器。
3.完全分布式模式 ： 多节点 Hadoop102、Hadoop103、Hadoop104
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
