Hadoop面试总结三Hbase、Spark

Hbase

Hbase 的角色：Hmaster和RegionServer

Hmaster：

管理RegionServer：监控和处理故障转移

Region的分配

 

RegionServer：

存储Hbase的真实数据

处理Hmaster分配给他的Region

Hbase 的架构

有两种：一种是作为存储的分布式文件系统、一种是作为数据处理的MR架构

 

Hbase读流程

因为表和表数据都是在HRegionServer上存放的，所以要先找到存放数据的那个HRegionServer；客户端去访问Zookeeper,从Zookeeper获取Meta表所在的位置信息；

找到存放这个Meta表的HRegionServer，获取Meta中的元数据，根据元数据信息访问对应的HRegionServer；

Hbase写流程

Client先访问Zookeeper,找到Meta表，并获取Meta表信息，确认要写入的HRegionServer；然后客户端想HRegionServer发起写入数据请求，收到HregionServer相应后开始写入数据；数据先写入HLog，防止数据丢失。然后写入Memstore,两者都写入成功则代表数据写入成功。