前言
当大数据到大一定程度时,系统会进行分布存储,HDFS以流式数据访问的模式可以运行到普通的商用服务器集群上,完成了分布式存储的功能,同时也向客户开放了HDFS相应的访问接口,以满足不同的需求。
以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟!
一.HDFS的工作原理
HDFS中的数据是分布存储的,默认块的大小为128MB(Hadoop低版本默认为64MB,这个值可以在配置文件中更改)但是如何修改呢?
在hdfs-site.xml文件进行修改,如果在修改的时候,需要停掉HADOOP的运行进程,修改完毕后,重新启动。
分块处理的好处是可以增加读取数据的吞吐量,通过数据结构的模型,以流式的多副本模式存储于集群中各个节点
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。