微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

大数据介绍

背景介绍

  hadoop: 开源项目,是一个分布式文件系统,有中心节点。批处理系统,不能实时返回

     HDFS  +   mapreduce = hadoop     

  Hbase : hadoop的database

   HDFS : 是有中心节点的, 组件:DN(datanode 数据节点)  NN(namenode 负责元数据存储节点)

   对于元数据节点,采用zookeeper来实现高可用,元数据存储在zookeeper上,因此每个NN节点都可以从zookeeper上获取元数据

   DN节点存储各数据,通过数据副本形式,实现数据的高可用, 认会存储3个副本,所以任何一节点故障,都会造成副本数量减少,数据节点会不断的享元数据节点报告自己的状态和所持有的副本

    元数据节点会持有整体的数据块个数,数据库在个节点的分布等信息,如果有副本块的缺少,会补足数据库

对数据的处理:mapreduce

   jobtracker : 任务分发, 请求程序的数据有它作为总控来处理 

  

 

 

 

 

 

搜索

复制

<iframe></iframe>

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐