前言
：是Hadoop中用于数据存储的模块
概述
1. 是Hadoop中用于数据存储的模块
2. 在存储数据的时候会将数据进行切块，
每一个块是一个Block，在Hadoop2.0是128M。
3.HDFS会对数据块进行自动备份，默认复本数量是3，但是在伪分布式
下复本数量必须设置为1
4. 复本的放置策略 --- 机架感知策略
HDFS的数据读流程
1. 客户端发起RPC请求访问Namenode
2. namenode会查询元数据，找到这个文件的存储位置对应的数据块的信息
3.
4. namenode将文件对应的数据块的节点地址的全部或者部分放入一个队列中然后返回
5.
6. client收到这个数据块对应的节点地址
7.
8. client会从队列中取出第一个数据块对应的节点地址，会从这些节点地址中选择一个
最近的节点进行读取
6.将Block读取之后，对Block进行checksum的验证，如果验证失败，说明数
据块产生损坏，那么client会向namenode发送信息说明该节点上的数据
块损坏，然后从其他节点中再次读取这个数据块
7.验证成功，则从队列中取出下一个Block的地址，然后继续读取
8.当把这一次的文件块全部读完之后，client会向namenode要下一批block的地址
9.当把文件全部读取完成之后，从client会向namenode发送一个读取完毕
的信号，namenode就会关闭对应的文件
HDFS的数据写流程
1. 客户端发起RPC请求访问Namenode
2. namenode接收到请求之后，对请求进行验证，例如这个请求中的文件是
否存在，再例如权限验证
3. 如果验证通过，namenode确定文件的大小以及分块的数量，
确定对应的节点（会去找磁盘空间相对空闲的节点来使用），
将节点地址放入队列中返回
4. 客户端收到地址之后，从队列中依次取出节点地址，然后数据块依次放
入对应的节点地址上
5. 客户端在写完之后就会向namenode发送写完数据的信号，
namenode会给客户端返回一个关闭文件的信号
6. datanode之间将会通过管道进行自动的备份，保证复本数量
HDFS的数据删除流程
1. Client发起RPC请求到namenode
2. namenode收到请求之后，会将这个操作记录到edits中，然后将数据
从内存中删掉，给客户端返回一个删除成功的信号
3.客户端收到信号之后认为数据已经删除，实际上数据依然存在datanode上
4.当datanode向namenode发送心跳消息（节点状态，节点数据）的时候，
namenode就会检查这个datanode中的节点数据，发现datanode中的节点
数据在namenode中的元数据中没有记录，namenode就会做出响应，就
会命令对应的datanode删除指定的数据
HDFS的操作指令
hadoop fs -put a.txt /a.txt - 上传文件
hadoop fs -mkdir /hadoopnode01 - 创建目录
hadoop fs -rm /hadoop-2.7.1_64bit.tar.gz - 删除文件
hadoop fs -rmdir /hadoopnode01 - 删除目录
hadoop fs -rmr /a - 递归删除
hadoop fs -get /a.txt /home - 下载
hadoop fs -ls / - 查看
hadoop fs -lsr / - 递归查看
hadoop fs -cat /a.txt - 查看内容
hadoop fs -tail /a.txt - 产看文件的最后1000个字节
hadoop fs -mv /a/a.txt /a/b.txt - 移动或者重命名
hadoop fs -touchz /demo.txt - 创建空文件
hadoop fs -getmerge /a demo.txt - 合并下载
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
