Hdfs：
hdfs写流程：
- 客户端通过distributedFileSystem请求namenode上传文件
- Namenode进行检查，比如父路径 文件本身，是否允许上传
- Namenode相应信息给client 是否允许上传
- 请求上传第一个block块
- Namenode根据元数据信息判断，需要在哪些datanode上上传，返回datanode列表，根据复本数返回datanode节点数。
- 客户端通过FSDataOutputStream建立通道，客户端先与datanode1建立通道，data1与data2，data2与data3建立通道
- 响应通道的应答消息
- 上传block块，在客户端会形成数据队列(block以pachage为单位进行划分)，以pakage为单位(默认大小为64k)进行上传
- 客户端先传给data1，先存储在data1的内存中，然后再写入磁盘。Data1将package传给data2 ，data2传给data3
- 10.响应pachage应答消息，响应给客户端，从数据队列中删除package
block上传完成当上传其他的block块的时候 从4步开始执行
hdfs 读流程：
- 客户端通过distributedFileSystem与namenode进行通信，请求下载文件
- Namenode通过查找自己的元数据信息，获得文件对应的block块及其位置信息，响应给客户端
- 客户端通过网络拓扑，选择一台datanode（就近原则），进行请求读取，请求读取的时候通过FSDataInputStream
- 客户端以package为单位进行读取，先写入到客户单的本地的缓存中(内存中)，然后同步到磁盘。
Yarn：
resourcemanager的基本职能概括：
- 与客户端进行交互，处理来自于客户端的请求，如查询应用的运行情况
- 启动和管理各个应用的ApplicationMaster，并且为ApplicationMaster申请第一个Container用于启动和运行失败时将它重新启动
- 管理NodeManager，接受来自NodeManager的资源和节点健康情况汇报，并向NodeManager下达管理资源命令，例如kill掉某个container
- 资源管理和调度，接受来自ApplicationMaster的资源申请，并且为其进行分配。这个是他的最重要的只能。
| MapReduce1 | Yarn |
| Jobtrack | 资源管理器（Resourcemanager）、applicationMaster、时间轴服务器 |
| Tasktrack | 节点管理器（nodemanager） |
| slot | 容器（container） |
MapReduce：
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
