一、hdfs概述
HDFS是Hadoop分布式文件系统(Hadoop distributed File System)的简称,它的设计目标是把超大数据集存储到网络中的多台普通计算机上,并提供高可靠性和高吞吐率的服务。
HDFS的优点:
高容错性:数据自动保存多个副本,hdfs默认的副本数量是3
适合处理大数据:能够处理GB、TP甚至BP级别的数据,能够处理百万规模以上的文件数量
可构建在廉价机器上
HDFS的缺点:
不适合低延迟的数据访问:hdfs无法实现毫秒级别的数据存储和访问,hdfs提供高吞吐量但无法提供低延迟数据访问
无法高效处理大量的小文件:大量小文件会占用namenode大量的内存来存储元数据,且会导致寻址时间过长
不支持并发写入和随机修改:一个文件只能有一个写,不允许多个线程同时写;仅支持数据追加append,不支持随机修改
二、hdfs组织和架构
hdfs主要有3个组间构成,分别是NameNode、SecondaryNameNode和Datanode。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。